Size: a a a

ClickHouse не тормозит

2020 July 22

DC

Denny Crane (I don't... in ClickHouse не тормозит
судя по коду такой ошибки не может быть в вашем случае, значит баг в кх
источник

G

Gennadiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну ошибка в при вставке во вью PushingToViewsBlockOutputStream , MV вообще есть?
обновите КХ до 20.3.14.130
и заведите тикет https://github.com/ClickHouse/ClickHouse/issues
MATERIALIZED VIEW нет, только таблица
источник

G

Gennadiy in ClickHouse не тормозит
Спасибо за ответ, попробую создать тикет
источник

G

Gennadiy in ClickHouse не тормозит
У меня есть только одно предположение, что после смены партиции или очистки всей таблицы все начинает правильно работать. Как то с этим связано
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Gennadiy
У меня есть только одно предположение, что после смены партиции или очистки всей таблицы все начинает правильно работать. Как то с этим связано
пишите это в тикет, приложите show create table и вот эти трейсы и пример tsv если секретный, то можно обфусцировать
источник

S

Sergei in ClickHouse не тормозит
подскажите, есть ли возможность выполнить insert select в режиме ON CLUSTER? есть шардированная таблица, но без указанного ключа шардирования, соответственно в distributed-таблицу вставка невозможна. а нужно на всех узлах выполнить одну и ту же команду, т.е. источник есть на каждом узле и шард-приёмник на каждом узле.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergei
подскажите, есть ли возможность выполнить insert select в режиме ON CLUSTER? есть шардированная таблица, но без указанного ключа шардирования, соответственно в distributed-таблицу вставка невозможна. а нужно на всех узлах выполнить одну и ту же команду, т.е. источник есть на каждом узле и шард-приёмник на каждом узле.
cl --help |grep parallel_distributed_insert_select
 --parallel_distributed_insert_select arg                         If true, distributed insert select query in the same cluster will be processed on local tables on every shard

https://github.com/ClickHouse/ClickHouse/pull/9759/files
источник

S

Sergei in ClickHouse не тормозит
спасибо. вот я заработался-то, затупил документацию погрепать. извиняюсь.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergei
спасибо. вот я заработался-то, затупил документацию погрепать. извиняюсь.
я сомневаюсь что это документировано и вряд ли кто-то знает про это кроме тех кто читает все пуллреквесты
источник

S

Sergei in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я сомневаюсь что это документировано и вряд ли кто-то знает про это кроме тех кто читает все пуллреквесты
облом :( это только в 20.4 появилось, а мы пока на 20.3 еще
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergei
облом :( это только в 20.4 появилось, а мы пока на 20.3 еще
ну тогда никак. Оббежать скриптом все сервера и выполнить там insert локально
источник

S

Sergei in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну тогда никак. Оббежать скриптом все сервера и выполнить там insert локально
в любом случае спасибо, слово parallel в вашем сообщении напомнило мне об одноименной утилите, как раз в параллель запускающей однотипный процесс :)
источник
2020 July 23

BB

Bral Bral in ClickHouse не тормозит
Sergei
в любом случае спасибо, слово parallel в вашем сообщении напомнило мне об одноименной утилите, как раз в параллель запускающей однотипный процесс :)
Если есть возможность , то можно создать ещё одну таблицу , но уже с ключом шардирования, и отдать вставку на откуп серверу.
источник

M

Maxim Bogdanov in ClickHouse не тормозит
А кто знает, как кликхаус находит первую метку по запросу? У меток есть ещё какой-то индекс по range, или они ищутся перебором?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Bogdanov
А кто знает, как кликхаус находит первую метку по запросу? У меток есть ещё какой-то индекс по range, или они ищутся перебором?
есть первичный ключ (индекс в озу), разреженный (по гранулам), там делается поиск (не бинарный, но похоже), из ключа переходим в марки
источник

M

Maxim Bogdanov in ClickHouse не тормозит
Ага, нашёл, log(n) сложность
источник

M

Maxim Bogdanov in ClickHouse не тормозит
Плюс "If the user wants to get data between two marks of the index and both these marks fall within one month, ClickHouse can use the index in this particular case because it can calculate the distance between the parameters of a query and index marks." Видимо там ещё range индекс.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
это какое-то старье, судя по слову month и вообще это про частично-монотонные последовательности
источник

AN

Alexandr Novikov in ClickHouse не тормозит
всем привет.
появилась необходимость в пределах одного сервера перенести БД CH с одного раздела на другой.
как это можно сделать с минимальным временем простоя?
источник

D

Dj in ClickHouse не тормозит
Можно по ТТЛ наверно.
А еще фриз, скопировать все парты, создать таблицу, аттач партов, остановить загрузку,  переименовать таблицы, включить загрузку, доаттачить дельта парты (которые были загружены до остановки). Должно сработать.
тут ересь
читать https://t.me/clickhouse_ru/173034
источник