В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4815 membersпожаловаться на группу
2021 February 18

S

Slach in ClickHouse не тормозит
Andrey
в таблице 400 миллионов строк и для каждой __row_hash уникальный
тогда фиг знает
возможно для того чтобы сделать финальный group by
надо все частичные group by сложить между собой и для этого тупо памяти не хватает
источник
13:37пожаловаться#1

A

Andrey in ClickHouse не тормозит
Да, действительно, HAVING на это не влияет
источник
13:43пожаловаться#2

S

Sharif in ClickHouse не тормозит
Dj

Локальная версия запроса в конечном итоге будет выполнена на каждом хосте кластера, даже если некоторые хосты в данный момент не доступны. Гарантируется упорядоченность выполнения запросов в рамках одного хоста.

https://clickhouse.tech/docs/ru/sql-reference/distributed-ddl/
только клиент будет ждать таймаута, но после запуска можно его прибить
clickhouse.tech
Распределенные DDL запросы | Документация ClickHouse
Распределенные DDL запросы (секция ON CLUSTER) Запросы CREATE, DROP, ALTER, RENAME поддерживают возможность распределенн
то есть если просто проигнорировать таймаут недоступных хостов то можно дропнуть партицию, продолжить вставлять туда данные, и все будет ок после того как хост оживет?
источник
13:44пожаловаться#3

S

Slach in ClickHouse не тормозит
Andrey
Да, действительно, HAVING на это не влияет
ну в общем GROUP BY по очень кардинальному полю, это как тупо всю таблицу в память итогово грузить видимо
источник
13:46пожаловаться#4

DT

Dmitry Titov in ClickHouse не тормозит
Потенциально кажется что этого  можно было бы избежать, но видимо это будет еще медленее
источник
13:47пожаловаться#5

D

Dj in ClickHouse не тормозит
Sharif
то есть если просто проигнорировать таймаут недоступных хостов то можно дропнуть партицию, продолжить вставлять туда данные, и все будет ок после того как хост оживет?
да
источник
13:47пожаловаться#6

D

Dj in ClickHouse не тормозит
Kid
не подскажете, они не связываются, мб надо в новых ЗК сделать /clickhouse?
echo mntr | nc localhost 2181
на лидере, смотреть zk_followers zk_synced_followers     zk_pending_syncs        

если все ок, то  на всех нодах и проверить zk_znode_count  - должен совпадать
источник
13:48пожаловаться#7

K

Kid in ClickHouse не тормозит
Dj
echo mntr | nc localhost 2181
на лидере, смотреть zk_followers zk_synced_followers     zk_pending_syncs        

если все ок, то  на всех нодах и проверить zk_znode_count  - должен совпадать
через stat смотрю Node count на фоловерах совпадают, а на лидере нет
источник
13:54пожаловаться#8

RM

Roman Maksimov in ClickHouse не тормозит
Привет, нужна помощь с настройкой КХ версии 19.14.6.12 - Как разделить таблицы по разным физическим дискам
источник
14:03пожаловаться#9

D

Dj in ClickHouse не тормозит
Kid
через stat смотрю Node count на фоловерах совпадают, а на лидере нет
на лидере много, на фолловерах мало?
источник
14:11пожаловаться#10

D

Dj in ClickHouse не тормозит
Kid
через stat смотрю Node count на фоловерах совпадают, а на лидере нет
echo mntr | nc localhost 2181
на лидере, смотреть zk_followers zk_synced_followers     zk_pending_syncs
источник
14:12пожаловаться#11

K

Kid in ClickHouse не тормозит
Dj
на лидере много, на фолловерах мало?
да
источник
14:12пожаловаться#12

L

Lazoreth in ClickHouse не тормозит
Dj
MultiIf/if выполняет все ветки условий при запуске... так что да, будет тормозить при больших вложенностях
Понял, спасибо
источник
14:29пожаловаться#13

ВЕ

Веня Ерофеев... in ClickHouse не тормозит
ReplicatedReplacingMergeTree валится с ошибкой "Too many parts"
Правильное ли решение, сначала писать в таблицу типа Buffer?
Нужны какие-то особые настройки для буферной таблицы?
источник
14:30пожаловаться#14

DT

Dmitry Titov in ClickHouse не тормозит
Веня Ерофеев
ReplicatedReplacingMergeTree валится с ошибкой "Too many parts"
Правильное ли решение, сначала писать в таблицу типа Buffer?
Нужны какие-то особые настройки для буферной таблицы?
Самое правильное решение это собирать вставки до кх, и вставлять батчами
источник
14:33пожаловаться#15

S

Slach in ClickHouse не тормозит
Веня Ерофеев
ReplicatedReplacingMergeTree валится с ошибкой "Too many parts"
Правильное ли решение, сначала писать в таблицу типа Buffer?
Нужны какие-то особые настройки для буферной таблицы?
Буферная таблица не гарантирует сохранность данных в буфере во время рестарта...
есть всякие штуки типа clickhouse-bulk \ chproxy \ kittenhouse
если можете копить TSV \ CSV и потом грузить батчем сами, то это лучше всего
источник
14:36пожаловаться#16

M

Mishanya in ClickHouse не тормозит
Dmitry Titov
Самое правильное решение это собирать вставки до кх, и вставлять батчами
я так понимаю, что человек вставляет слишком большой батч и из-за этого у него партов образуеттся, нет ?
источник
14:36пожаловаться#17

ВЕ

Веня Ерофеев... in ClickHouse не тормозит
Mishanya
я так понимаю, что человек вставляет слишком большой батч и из-за этого у него партов образуеттся, нет ?
Немнрго не так, батчей много и они небольшие.
источник
14:37пожаловаться#18

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
я так понимаю, что человек вставляет слишком большой батч и из-за этого у него партов образуеттся, нет ?
too many parts это наоборот, слишком много вставок (либо в 1 инсерте много партиций)
источник
14:37пожаловаться#19

ВЕ

Веня Ерофеев... in ClickHouse не тормозит
Придется на приложение переложить эту логику, спасибо всем
источник
14:37пожаловаться#20