D
не заработает, берите hdfs
Альтернативы то ясны, Ну только ради этого хдфс/s3 сложно воротить...
я имел в виду что мерж работает с кучей строк, я не проверял на гранулах в 1
но в общем-то есть настройка merge_tree
Size: a a a
2021 February 11
D
Спасибо. Собссно вопрос будет ли эту колонку читать в память при мердже или стримить из файла в файл на лету при грануле в 1 строку.
Есть альтернатива в виде лог таблиц, но там надо самим грузитб в реплики... А можно дистрибютед на лог таблицы с internalreplication false сделать?
Есть альтернатива в виде лог таблиц, но там надо самим грузитб в реплики... А можно дистрибютед на лог таблицы с internalreplication false сделать?
D
А, в лог таблицах индекса ж нет
DC
Спасибо. Собссно вопрос будет ли эту колонку читать в память при мердже или стримить из файла в файл на лету при грануле в 1 строку.
Есть альтернатива в виде лог таблиц, но там надо самим грузитб в реплики... А можно дистрибютед на лог таблицы с internalreplication false сделать?
Есть альтернатива в виде лог таблиц, но там надо самим грузитб в реплики... А можно дистрибютед на лог таблицы с internalreplication false сделать?
я сомневаюсь что с 15-20 ГБ это заработает
ну и сохранность Log не гарантируется с рестартом и даже инсерт может сломать log таблицу
я за hdfs
ну и сохранность Log не гарантируется с рестартом и даже инсерт может сломать log таблицу
я за hdfs
D
я сомневаюсь что с 15-20 ГБ это заработает
ну и сохранность Log не гарантируется с рестартом и даже инсерт может сломать log таблицу
я за hdfs
ну и сохранность Log не гарантируется с рестартом и даже инсерт может сломать log таблицу
я за hdfs
Да, ладно. Спасибо. В крайнем случае всегда можно кидать файлами на два сервера )
D
Вопрос про optimize on inserr который тормозит инсерты из англ чата. Он же только на collapsing/replacing влияет?
А на зависимые мв влияет?
А на зависимые мв влияет?
❌
А подскажите почему могут не выполняться запросы из папки ZK
/clickhouse/task_queue/ddl? При этом репликация работает без проблем. Подвисло около 9 заданий разной направленности.DC
Вопрос про optimize on inserr который тормозит инсерты из англ чата. Он же только на collapsing/replacing влияет?
А на зависимые мв влияет?
А на зависимые мв влияет?
там селект тормозит
D
А подскажите почему могут не выполняться запросы из папки ZK
/clickhouse/task_queue/ddl? При этом репликация работает без проблем. Подвисло около 9 заданий разной направленности.В system.replication_queue причина есть обычно
DC
А подскажите почему могут не выполняться запросы из папки ZK
/clickhouse/task_queue/ddl? При этом репликация работает без проблем. Подвисло около 9 заданий разной направленности.потому что это два разных не связанных механизма
❌
ясно, завтра значит буду смотреть
D
там селект тормозит
Спасибо продолжение пропустил.
А как насчет mv/chained mv? Эта настройка пробросится?
А как насчет mv/chained mv? Эта настройка пробросится?
DC
ясно, завтра значит буду смотреть
сервер на котором вы выполняете on cluster ZZZ читает описание кластера ZZZ и видит два хоста AA и BB
и пишет задания в
сервер АА берет свой hostname -f и оказывается что у него hostname = localhost, идет в очередь
и пишет задания в
task_queue/ddl для АА и BBсервер АА берет свой hostname -f и оказывается что у него hostname = localhost, идет в очередь
task_queue и ищет задание для localhost, там пусто.DC
Спасибо продолжение пропустил.
А как насчет mv/chained mv? Эта настройка пробросится?
А как насчет mv/chained mv? Эта настройка пробросится?
❌
сервер на котором вы выполняете on cluster ZZZ читает описание кластера ZZZ и видит два хоста AA и BB
и пишет задания в
сервер АА берет свой hostname -f и оказывается что у него hostname = localhost, идет в очередь
и пишет задания в
task_queue/ddl для АА и BBсервер АА берет свой hostname -f и оказывается что у него hostname = localhost, идет в очередь
task_queue и ищет задание для localhost, там пусто.не ну там с хостами точно все норм. сломалось совсем недав. но я проверю конечно
DC
не ну там с хостами точно все норм. сломалось совсем недав. но я проверю конечно
ну надо смотреть версию КХ, бывает что DDLWorker падает и тогда становится некому читать
task_queue❌
ну надо смотреть версию КХ, бывает что DDLWorker падает и тогда становится некому читать
task_queueверсия 21.2.2. про воркер мало вероятно, так как буквально пару дней назад накатил последнюю версию. а сломалось еще на прошлой неделе. хорошо. завтра прочекаю все что выше описали. тут еще уточняющий момент - где то отработало, а где то нет.
DC
Ошибки нет, в 20.3 писал, что упал в логи. Сейчас 20.8 пишет только 2021.02.10 17:07:36.088961 [ 8880 ] {3b6494c9-d7a0-43e1-b832-51bf38a3fdea} <Error> DynamicQueryHandler: Code: 159, e.displayText() = DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000523861 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 4 unfinished hosts (0 of them are currently active), they are going to execute the query in background. Пока не понимаем, либо в версии что то поменялось, либо возможно конкретно сейчас это deadlock, пока разбираемся
и что рестарт КХ помогает?
# ps -eL|grep DDL
18829 18876 ? 00:00:00 DDLWorkerClnr
18829 18879 ? 00:00:00 DDLWorker
# ps -ef|grep 18829|grep -v grep
clickho+ 18829 18828 1 Feb09 ? 00:55:00 /usr/bin/clickhouse-server --config-file /etc/clickhouse-server/config.xml --pid-file /var/run/clickhouse-server/clickhouse-server.pid --daemon
# ps -eL|grep DDL
18829 18876 ? 00:00:00 DDLWorkerClnr
18829 18879 ? 00:00:00 DDLWorker
# ps -ef|grep 18829|grep -v grep
clickho+ 18829 18828 1 Feb09 ? 00:55:00 /usr/bin/clickhouse-server --config-file /etc/clickhouse-server/config.xml --pid-file /var/run/clickhouse-server/clickhouse-server.pid --daemon
e
Над хадупом какие форматы файлов поддерживаются ? CSV ?
http://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/amp/#hdfs
http://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/amp/#hdfs
2021 February 12
DT
