В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4104 membersпожаловаться на группу
2020 July 16

Д

Дмитрий in ClickHouse не тормозит
Dj
да, если памяти много можете ещё больше вставлять.
если инсерт селект - выставите паралелизм на инсерт (параметр есть)

обычно затык не на стороне КХ, а на стороне вставлятеля... вставляйте в нативном формате или паркете (если есть).
из json сильно медленнее
а что за параметр с памятью?
источник
16:22пожаловаться#1

SC

Smoked Cheese in ClickHouse не тормозит
CSV, TSV тоже норм
источник
16:23пожаловаться#2

D

Dj in ClickHouse не тормозит
Дмитрий
а что за параметр с памятью?
параметра на саму память нет, просто если вставки жирнее, клиенту нужно больше памяти как бы по умолчанию, и серверу, чтоб сортировать вставленные данные перед записью на диск
источник
16:24пожаловаться#3

D

Dj in ClickHouse не тормозит
Дмитрий
а что за параметр с памятью?
max_insert_block_size
min_insert_block_size_rows
min_insert_block_size_bytes
max_insert_threads
—-
источник
16:24пожаловаться#4

Д

Дмитрий in ClickHouse не тормозит
Dj
max_insert_block_size
min_insert_block_size_rows
min_insert_block_size_bytes
max_insert_threads
—-
спасибо
источник
16:24пожаловаться#5

D

Dj in ClickHouse не тормозит
Дмитрий
спасибо
ещё если вставляете в replicatedMT, но zookeeper далеко от КХ сервера (latency >10ms) - будут тормоза тоже...
источник
16:25пожаловаться#6

N

Nik in ClickHouse не тормозит
ребят - типичная задача по подтягиванию из csv  в таблицу кликхаус
столь же типичный нюанс с форматами данных внутри csv - цифры,ссылки и буквы (иногда их смешание)
как решали? есть у кого простой драйвер или библиотека которая сама проглатывает csv (или с api) и ставит схему создавая таблицу в кликхаусе без косяков с форматом (может быть с питоном и пандасом по апи из датафрейма кто такие таблицы вытягивал) ?
источник
16:56пожаловаться#7

SC

Sergey Cherkashin in ClickHouse не тормозит
Господа, подскажите, пожалуйста, возможен ли такой сценарий, что КХ домердживает данные в партицию, и больше эту партицию никогда не мерджит? Вопрос связан с тем, что у меня выставлен TTL на таблицу timestamp + toIntervalDay(1), но клик данные не удаляет даже спустя 3 дня. Приходится освобождать место вручную. Может ли на это влиять неверно заданный ключ партицирования?
источник
17:14пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Cherkashin
Господа, подскажите, пожалуйста, возможен ли такой сценарий, что КХ домердживает данные в партицию, и больше эту партицию никогда не мерджит? Вопрос связан с тем, что у меня выставлен TTL на таблицу timestamp + toIntervalDay(1), но клик данные не удаляет даже спустя 3 дня. Приходится освобождать место вручную. Может ли на это влиять неверно заданный ключ партицирования?
Версия КХ ?

TTL мержи не свзязаны с шедулером обычных мержей.
Для TTL мержей есть параметр merge_with_ttl_timeout  Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
Т.е. раз в сутки запускается шедулер и проверяет что нужно удалить, но удаляет только из одного парта в таблице, это баг
источник
17:24пожаловаться#9

МШ

Михаил Ш in ClickHouse не тормозит
Подскажите, а есть ли способ изменить таблицу-источник для движка Distibuted не пересоздавая саму Distributed таблицу?
источник
17:24пожаловаться#10

DC

Denny Crane (I don't... in ClickHouse не тормозит
Михаил Ш
Подскажите, а есть ли способ изменить таблицу-источник для движка Distibuted не пересоздавая саму Distributed таблицу?
нельзя.
источник
17:25пожаловаться#11

МШ

Михаил Ш in ClickHouse не тормозит
ок, понял, спасибо
источник
17:25пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Михаил Ш
ок, понял, спасибо
а хотя можно сделать detach поправить sql, потом attach
источник
17:26пожаловаться#13

МШ

Михаил Ш in ClickHouse не тормозит
ну так то вроде проще получается drop & create, идея была в том, чтобы не останавливать возможность выполнения запросов
источник
17:26пожаловаться#14

PL

Piotr Liakhavets in ClickHouse не тормозит
Михаил Ш
ну так то вроде проще получается drop & create, идея была в том, чтобы не останавливать возможность выполнения запросов
создать рядом, а потом ренейм страрой и новой одной командой - вроде минимум импакта тогда
источник
17:28пожаловаться#15

МШ

Михаил Ш in ClickHouse не тормозит
о, да, отличный вариант
источник
17:28пожаловаться#16

МШ

Михаил Ш in ClickHouse не тормозит
спасибо
источник
17:28пожаловаться#17

DC

Denny Crane (I don't... in ClickHouse не тормозит
Михаил Ш
ну так то вроде проще получается drop & create, идея была в том, чтобы не останавливать возможность выполнения запросов
ну я убираю из балансера/днс половину нод КХ, пересоздаю на них таблицу, запросы идут через другую половину нод
источник
17:28пожаловаться#18

SC

Sergey Cherkashin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Версия КХ ?

TTL мержи не свзязаны с шедулером обычных мержей.
Для TTL мержей есть параметр merge_with_ttl_timeout  Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
Т.е. раз в сутки запускается шедулер и проверяет что нужно удалить, но удаляет только из одного парта в таблице, это баг
Версия 20.4.5.36.
То есть для удаления по TTL КХ в любом случае пойдёт по всем партициям?
источник
17:29пожаловаться#19

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Cherkashin
Версия 20.4.5.36.
То есть для удаления по TTL КХ в любом случае пойдёт по всем партициям?
в партах хранятся отдельные файлик с метаданными для TTL, там лежит мин и макс дата expire, раз в сутки КХ проверяет метаданные и если диапазон совпадает с текущей датой, то начинает перезаписывать парт без expire записей, почему-то сейчас делается только один парт за раз, поставьте merge_with_ttl_timeout поменьше
источник
17:32пожаловаться#20