Телеграмм чат группы clickhouse_ru страница 8204

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4293 membersпожаловаться на группу

2020 September 08

DC

Denny Crane [not a Y... in ClickHouse не тормозит

привет!
есть ли простой способ перелить данные в матвьюху, если таблица под ней явно создана?
populate при этом юзать не советуют, insert select падает по памяти (видимо он собирает какую-то большую пачку внутри), а делать еще одну копию исходной таблицы, чтобы лить в нее, дороговато из-за места на серваке

Так просто создайте view c to
Я только так и делаю.

источник

15:27пожаловаться #1

DC

Denny Crane [not a Y... in ClickHouse не тормозит

привет, подскажите плз - создали view, которая смотрит в таблицу с 1.5kk записей, создалась табличка .inner.viewname, в которой стабильно ~1.5k inactive parts, насколько это нормально и если нет, то как на это можно повлиять?

Да. Mv хранит свои данные в inner таблице.
Inactive парты удаляются через 8 мин.

источник

15:28пожаловаться #2

M

Mikhail in ClickHouse не тормозит

а что при рестарте будет, кх будет перечитывать .inner парты?

источник

15:28пожаловаться #3

DC

Denny Crane [not a Y... in ClickHouse не тормозит

а что при рестарте будет, кх будет перечитывать .inner парты?

Да. При чем тут это. Это обычная таблица

источник

15:29пожаловаться #4

DC

Denny Crane [not a Y... in ClickHouse не тормозит

ну да, мы делаем аналогично, думалось, можно проще

Конечно можно в 1000 раз проще

источник

15:30пожаловаться #5

M

Mikhail in ClickHouse не тормозит

я помню печальный опыт для обычной таблицы, когда набралось много inactive parts и кх стартовал несколько часов, поэтому мониторю это.

источник

15:31пожаловаться #6

DC

Denny Crane [not a Y... in ClickHouse не тормозит

я помню печальный опыт для обычной таблицы, когда набралось много inactive parts и кх стартовал несколько часов, поэтому мониторю это.

ну 1.5к не так много. В общем то что это MV дело вообще никак не меняет. Это обычная таблица, ее парты точно также зависят от partition by и кол-ва инсертов

источник

15:34пожаловаться #7

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Т.е. если вы ошиблись и написали чушь в partition by , MV не виноват

источник

15:35пожаловаться #8

YY

Yury Yurochko in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

Так просто создайте view c to
Я только так и делаю.

Не понял, я так и создаю, как это влияет на переливку данных? Оно же не переливает данные при создании матвьюхи из сорс-таблицы

источник

15:37пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Не понял, я так и создаю, как это влияет на переливку данных? Оно же не переливает данные при создании матвьюхи из сорс-таблицы

чего-то я не понял, что у вас есть и что вы создаете.

источник

15:38пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Не понял, я так и создаю, как это влияет на переливку данных? Оно же не переливает данные при создании матвьюхи из сорс-таблицы

вот пример как пересчитать огромную таблицу через null

https://gist.github.com/den-crane/f7382cd4f1f859ff6ac46afe7dc9925a

источник

15:39пожаловаться #11

YY

Yury Yurochko in ClickHouse не тормозит

да, делаю все то, что вы привели с гисте, только без особого знания Engine=Null. то что нужно, спасибо!

источник

15:40пожаловаться #12

RK

Ruslan Kondratyev in ClickHouse не тормозит

Товарищи, приветствую. Кто может подсказать, проблема увеличения времени селекта порций данных (пагиация через limit x,y). Чем больше селектов делаю, тем больше становится время селекта. Таблица имеет order by по двум колонкам. Есть у когонибудь такие пробелемы? Должно ли вообще расти время или это не нормально?

источник

15:44пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Ruslan Kondratyev

Товарищи, приветствую. Кто может подсказать, проблема увеличения времени селекта порций данных (пагиация через limit x,y). Чем больше селектов делаю, тем больше становится время селекта. Таблица имеет order by по двум колонкам. Есть у когонибудь такие пробелемы? Должно ли вообще расти время или это не нормально?

должно расти. Тоже самое в mysql / oracle /pg, чуда нет

источник

15:45пожаловаться #14

RK

Ruslan Kondratyev in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

должно расти. Тоже самое в mysql / oracle /pg, чуда нет

а почему растет, клик вроде как хорошо заточен на чтение...

источник

15:46пожаловаться #15

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Ruslan Kondratyev

а почему растет, клик вроде как хорошо заточен на чтение...

в каком смысле почему? это же очевидно, надо же сдеалать skip миллиардам записей в конце пайплайна

источник

15:47пожаловаться #16

RK

Ruslan Kondratyev in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

в каком смысле почему? это же очевидно, надо же сдеалать skip миллиардам записей в конце пайплайна

ага, ладно, спасибо

источник

15:48пожаловаться #17

G

GithubReleases in ClickHouse не тормозит

ClickHouse/ClickHouse tagged: v20.8.2.3-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.8.2.3-stable
Release notes:

v20.8.2.3-stable

Release v20.8.2.3-stable · ClickHouse/ClickHouse

источник

15:50пожаловаться #18

D

Dj in ClickHouse не тормозит

Ruslan Kondratyev

Товарищи, приветствую. Кто может подсказать, проблема увеличения времени селекта порций данных (пагиация через limit x,y). Чем больше селектов делаю, тем больше становится время селекта. Таблица имеет order by по двум колонкам. Есть у когонибудь такие пробелемы? Должно ли вообще расти время или это не нормально?

если запрос возвращающий грид тяжелый, можете вставить во временную таблицу и с неё в UI показывать. а так, вариантов мало

источник

15:57пожаловаться #19

VL

Vladimir Litman in ClickHouse не тормозит

Добрый день! Ищу крутого специалиста поднастроить наш кликхауc. Можем договориться с оплатой позадачно или почасово. Жду в лс!

источник

16:06пожаловаться #20