Size: a a a

ClickHouse не тормозит

2020 June 10

TL

Tony Larin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Это абсолютно не оно. Вообще не рядом. Откройте свою багу. Никто из разработчиков не вкурсе про вашу проблему
моя проблема кстати решилась убиранием DEDUPLICATE из OPTIMIZE FINAL, но для replacing merge tree он и не нужен

то есть получается все работает
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
cya later
Добрый день товарищи!
Я раньше никогда не имел дел с добавлением больших объемов данных в базы поэтому у меня тупой вопрос.
Насколько сильно ограничен по длине SQL-запрос для Кликхауса?
Вообще у кх настраивается длина запроса. Но в вашем случае это вообще не вадно. Правильный Insert обрабатывается другим парсером. Стрим парсером -- ему не важно длина запроса. Он обрабатывает поток и не ждет конца запроса. Вставляя кусками.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Tony Larin
моя проблема кстати решилась убиранием DEDUPLICATE из OPTIMIZE FINAL, но для replacing merge tree он и не нужен

то есть получается все работает
Я подозреваю что у вас поломаны данные в первичном индексе. Конечно на эту проблему надо посмотреть всем очень внимательно, и она одна из самых страшных и важных.
источник

TL

Tony Larin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Я подозреваю что у вас поломаны данные в первичном индексе. Конечно на эту проблему надо посмотреть всем очень внимательно, и она одна из самых страшных и важных.
😱 ок, пойду создам задачу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
Словил глюк при копировании таблиц с одинаковой структурой с разницей в движке, исходная MergeTree, приемник ReplicatedMergeTree, INSERT INTO table1 SELECT * FROM table1_replicated; в результате значения одного из полей улетели в другой столбец. Кто-то сталкивался?
Ну ясен пень у вас разный порядок полей в таблице.
Insert into x select * from y -- не смотрит на имена полей
в любой базе. Это про sql
источник

DT

Dmitry Titov in ClickHouse не тормозит
Tony Larin
моя проблема кстати решилась убиранием DEDUPLICATE из OPTIMIZE FINAL, но для replacing merge tree он и не нужен

то есть получается все работает
вообще были какие то проблемы с deduplicate емнип
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
да я уже понял, спасибо ) хотя порядок полей в create не менял вроде
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nick Nizovtsev
да я уже понял, спасибо ) хотя порядок полей в create не менял вроде
Ну и как вы делали create?
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
обычно, с передачей имен и типов
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
в виде списка последовательного же
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
потому и не думал что столкнусь
источник

NN

Nick Nizovtsev in ClickHouse не тормозит
в документации написано что берется по порядку
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilyas Guseynov
Всем привет! Подскажите, есть какие-то рекомендации по оптимальному объёму партиций? Как понять что партицирование по месяцу уже слишком жирно и нужно, например, по неделе партицировать. Как не наломать дров и не сделать партиции слишком мелкими.
Тогда делайте месячные. Не шучу.
источник

cl

cya later in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Вообще у кх настраивается длина запроса. Но в вашем случае это вообще не вадно. Правильный Insert обрабатывается другим парсером. Стрим парсером -- ему не важно длина запроса. Он обрабатывает поток и не ждет конца запроса. Вставляя кусками.
Спасибо, кажется понял. По крайней мере теперь понимаю в какую сторону двигаться.
источник

IG

Ilyas Guseynov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Тогда делайте месячные. Не шучу.
Тогда - это в смысле чтоб не наломать дров?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
vladimir kolobaev
Ребят помогите разобраться в следующей ситуации.
У меня есть кластер из 2 шардов по 2 реплики. Когда отправляю запрос в каждую из локальных таблиц, запрос отрабатывает за 3сек, а когда этот же запрос отправляю в Distributed, он отрабатывает за 30 сек
Ваш запрос должен за теже 3 сек. отрабатывать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilyas Guseynov
Тогда - это в смысле чтоб не наломать дров?
Да
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Mike E.
Добрый день, подскажите плиз, по какой причине кх не использует всю доступную ему память? Выделено 400Gb (max_memory_usage_for_all_queries, max_memory_usage, max_memory_usage_for_user). В системе свободно более 500 (правда в buff/cache). Запрос съедает где-то 50gb и начинает слать (DB::Exception: Received from stat8:9000. DB::ErrnoException. DB::ErrnoException: Allocator: Cannot malloc 1.00 MiB., errno: 12, strerror: Cannot allocate memory: (avg_value_size_hint = 69.66058823529411, avg_chars_size = 73.99270588235294, limit = 8192): (while reading column uagent): (while reading from part /var/lib/clickhouse/data/ladnl/dnl_log_local/3287_0_2873_8_16121/ from mark 55681 with max_rows_to_read = 8192):
Происходит это только на одной ноде из 8, конфики везде одинаковые, железо практически тоже.  
Версия 19.13.6.51
скорее всего в ядре отключен memory overcommit есть про это в доке кх

это проблема про виртуальную память и адресацию
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Blokhin
Добрый день. Долго гуглил, но не нашел ответа по zookeeper. Может кто-нибудь сказать про конфигурацию серверов под него, а именно сколько место нужно на hdd с вот такими настройками:
tickTime=2000
dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=2000
initLimit=30000
syncLimit=10
maxSessionTimeout=60000000
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
preAllocSize=131072
snapCount=3000000
?
Нужен 1 ssd.

а Snapcount зачем / откуда такой?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
vladimir kolobaev
может там какой нить PREWHERE не отрабатывает
Вообще дублировать условия в where и prewhere не нужно -- может из-за дублировапия глюк.

А хотя у вас другое условие в where, но все равно не нужное. Какая версия кх?
источник