Size: a a a

ClickHouse не тормозит

2021 January 29

КТ

Константин Трофимов... in ClickHouse не тормозит
можно кликхаус клиенту передать --recieve_timeout дофига
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
и он не стаймаутит
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
наверн можно даже set сказать уже в клиенте, но так не пробовал
источник

S

Slach in ClickHouse не тормозит
Vladimir Mihailenco
Подскажите,

Сделал

alter table table MODIFY
 TTL time + interval 29 DAY TO VOLUME 's3',
 time + INTERVAL 1 MONTH DELETE;

И кликхаус по ощущениям перелопачивает все таблицу...  Что проиходит и что можно сделать? :)
SELECT * FROM system.merges;
SELECT * FROM system.parts_log;
источник

VM

Vladimir Mihailenco in ClickHouse не тормозит
Slach
SELECT * FROM system.merges;
SELECT * FROM system.parts_log;
я уже докопался до materialize_ttl_after_modify
теперь ищу как отключить
источник

S

Slach in ClickHouse не тормозит
Vladimir Mihailenco
я уже докопался до materialize_ttl_after_modify
теперь ищу как отключить
все что в system.settings
можно отключать через
/etc/clickhouse-server/users.d/*.xml
с содержимыми типа
<yandex><profile><default><materialize_ttl_after_modify>0</materialize_ttl_after_modify></default></profile></yandex>
источник

VM

Vladimir Mihailenco in ClickHouse не тормозит
Slach
все что в system.settings
можно отключать через
/etc/clickhouse-server/users.d/*.xml
с содержимыми типа
<yandex><profile><default><materialize_ttl_after_modify>0</materialize_ttl_after_modify></default></profile></yandex>
спасибо
источник

AK

Alexander Kurakin in ClickHouse не тормозит
Slach
ну пошукайте еще в документации max_threads max_insert_threads посмотрите какие у вас значения выставляются
Если Вы о "в конце [выполнения] GROUP BY - одно [один поток]", то спасибо, попробую!
Оффтопик: пошукайте - какая услада)))))
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danila Migalin
Я бы сказал надо моделировать свои аварии и их импакт и действовать исходя из этого. Нужен живой сервис при -1дц - надо делать так, не нужен - эдак
мы ограничены скоростью света. Хоть 22 дц, зукипер будет приемлимо работать пока летенси между нодами зк <30мс. И то при 30мс, вам нужны админы и прямые руки в этом случае, а не то что выросло у половины чата
источник

DM

Danila Migalin in ClickHouse не тормозит
штош

комплюктеры они такие, или ждем пока дц починят, или учимся жить с той скоростью света, которая есть 🙂
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danila Migalin
штош

комплюктеры они такие, или ждем пока дц починят, или учимся жить с той скоростью света, которая есть 🙂
в новом КХ без зк , кстати все будет тоже самое
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
есть надежда на FR где кх может некоторое время (<мин.) работать без ЗК, на запись
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Хай всем! Подскажите умеет ли кликхаус в аналог on conflict постгреса? У нас балк файлы формирует миллионники, которые потом вставляются. Будет хоть одна кривая запись, вся пачка крашится. Хотелось бы не изобретать велосипед и воспользоваться бест практисами умных людей в этом чате
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
Хай всем! Подскажите умеет ли кликхаус в аналог on conflict постгреса? У нас балк файлы формирует миллионники, которые потом вставляются. Будет хоть одна кривая запись, вся пачка крашится. Хотелось бы не изобретать велосипед и воспользоваться бест практисами умных людей в этом чате
нет не умеет.

Умеет пропускать заданный rate ошибочных записей
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
input_format_allow_errors_num
input_format_allow_errors_ratio
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Угу, спасибо почитаю, возможно то что нужно
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
мы ограничены скоростью света. Хоть 22 дц, зукипер будет приемлимо работать пока летенси между нодами зк <30мс. И то при 30мс, вам нужны админы и прямые руки в этом случае, а не то что выросло у половины чата
ну выросло, и выросло =)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladislav Filippov
никто не сталкивался? Версия КХ 20.4.9.110, в словаре 12M записей, по логам ошибок не видно
ну ставлю 200 канадских долларов, в словаре не было такой id, когда эту запись заинсертили
источник

VM

Vladimir Mihailenco in ClickHouse не тормозит
где можно почитать по MATERIALIZE TTL? и почему она практические копирует всю таблицу?

я добавляю TTL time + interval 30 DAY TO VOLUME 's3' и получаю автоматом MATERIALIZE TTL, которая переписывает всю таблицу... И так каждый раз когда меняется TTL...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladimir Mihailenco
где можно почитать по MATERIALIZE TTL? и почему она практические копирует всю таблицу?

я добавляю TTL time + interval 30 DAY TO VOLUME 's3' и получаю автоматом MATERIALIZE TTL, которая переписывает всю таблицу... И так каждый раз когда меняется TTL...
щаз DJ вам расскажет, свою боль
источник