Size: a a a

ClickHouse не тормозит

2021 March 26

S

Slach in ClickHouse не тормозит
Oleg Bazdyrev
ни у кого нет доступа к файловой системе, более того, эта чудо таблица создается на 5 минут
https://github.com/ClickHouse/ClickHouse/issues/455
а какая у вас версия ClickHouse?
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
21.3
источник

СК

Саша Козлов... in ClickHouse не тормозит
Slach
ну судя по stacktrace у вас реально отвалился Background Merge потому что ему памяти не хватило
и это никак не относится к вашему INSERT запросу потому что {} вместо {query-uuid} в начале ошибки стоит

сколько памяти на сервере всего?

сколько стоит max_memory_usage \ max_memory_usage_ratio?
советую почитать
https://clickhouse.tech/docs/en/operations/settings/query-complexity/
и
посмотреть куда вообще уходит у вас память
select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
   database,
   name,
   formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   formatReadableSize(peak_memory_usage),
   query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   query
FROM system.query_log
WHERE (event_date >= today()) AND (event_time >= (now() - 7200))
ORDER BY memory_usage DESC
LIMIT 10
max_memory_usage дефолтовое. консоль показывает max_memory_usage │ 10000000000
max_memory_usage_ratio не нашел
max_server_memory_usage 0
max_server_memory_usage_to_ram_ratio 0.9

на сервере было 2Г. сейчас увеличил до 8Г + 8Г свопа
источник

S

Slach in ClickHouse не тормозит
а движок базы какой ? Atomic?
какая последовательность с этой таблицей действий перед фейлищемся INSERT?

можете сделать grep some_tbl -r /var/log/clickhouse-server/ и расшарить результаты?
источник

O

Oleg Bazdyrev in ClickHouse не тормозит
уже все, некогда было ждать, похоже исправилось заменой движка временных табличек  c TinyLog на Log
источник

RT

Roman Tarasov in ClickHouse не тормозит
всем привет!
в ближайшее время, планируем обновление кх до версии
Altinity Stable Release 20.8.12.2

текущая
Altinity Stable Release 20.3.19.4
последнее время придерживаемся только релизов Altinity
подскажите пожалуйста, как наиболее правильно обновить кластер?
кластер состоит из трёх шардов с тремя репликами на шард
обновлялись всегда таким способом
условно реплики1 каждого шарда
потом реплики2 и реплики3
источник

S

Slach in ClickHouse не тормозит
Саша Козлов
max_memory_usage дефолтовое. консоль показывает max_memory_usage │ 10000000000
max_memory_usage_ratio не нашел
max_server_memory_usage 0
max_server_memory_usage_to_ram_ratio 0.9

на сервере было 2Г. сейчас увеличил до 8Г + 8Г свопа
ну 2 гига это очень мало
таблица в 100 колонок на insert аллоцирует  2 гига под буфера
max_memory_usage │ 10000000000 - это 10G ...

для малых объемов RAM есть настройка
https://clickhouse.tech/docs/en/operations/settings/settings/#background_pool_size
поставьте ее = 2 для 2 гигов
почитайте что она значит
источник

СК

Саша Козлов... in ClickHouse не тормозит
Slach
ну 2 гига это очень мало
таблица в 100 колонок на insert аллоцирует  2 гига под буфера
max_memory_usage │ 10000000000 - это 10G ...

для малых объемов RAM есть настройка
https://clickhouse.tech/docs/en/operations/settings/settings/#background_pool_size
поставьте ее = 2 для 2 гигов
почитайте что она значит
так у меня и таблица не большая - 10М записей всего
и колонок под 20
ну и как бы работало же...
источник

S

Slach in ClickHouse не тормозит
Oleg Bazdyrev
уже все, некогда было ждать, похоже исправилось заменой движка временных табличек  c TinyLog на Log
ну в логи то можно глянуть все равно...
grep some_tbl -r /var/log/clickhouse-server/  | grep дата-когда-возникла-ошибка
может показать картинку вполне ясно

или у вас доступа на сервер нет?
тогда попробуйте  поискать  в system.text_log если у вас создается
источник

S

Slach in ClickHouse не тормозит
Саша Козлов
так у меня и таблица не большая - 10М записей всего
и колонок под 20
ну и как бы работало же...
память это не только кол-во записей но и кол-во колонок, кол-во колонок и кол-во одновременных query + background процессы + словари существенно большую роль играют чем кол-во записей на память

записи поточно и буфферизировано читаются \ пишутся
соответсвенно под буфера нужна память

кол-во записей влияет на скорость запроса
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Добрый день! Подскажите, пожалуйста, в каком файле конфигурации отключать запись логов и метрик? Вроде бы куда-то нужно добавить вот эту секцию?
<yandex>
   <asynchronous_metric_log remove="1"/>
   <metric_log remove="1"/>
   <query_log remove="1"/>
   <query_thread_log remove="1"/>    
   <trace_log remove="1"/>
</yandex>
источник

ДП

Даниил Погудин... in ClickHouse не тормозит
Привет
Знает кто-то как сериализовать данные в джанге от кликхауса
Возможно есть пример какой нибудь?
Спасибо
источник

S

Slach in ClickHouse не тормозит
Дмитрий Демьянович
Добрый день! Подскажите, пожалуйста, в каком файле конфигурации отключать запись логов и метрик? Вроде бы куда-то нужно добавить вот эту секцию?
<yandex>
   <asynchronous_metric_log remove="1"/>
   <metric_log remove="1"/>
   <query_log remove="1"/>
   <query_thread_log remove="1"/>    
   <trace_log remove="1"/>
</yandex>
/etc/clickhouse-server/config.d/remove_logs.xml


Но не советую так делать, оставьте хотя бы query_log. потом отлаживать замучаетесь
источник

S

Slach in ClickHouse не тормозит
Даниил Погудин
Привет
Знает кто-то как сериализовать данные в джанге от кликхауса
Возможно есть пример какой нибудь?
Спасибо
имеется ввиду Django ORM + ClickHouse ?
https://github.com/carrotquest/django-clickhouse
источник

ДП

Даниил Погудин... in ClickHouse не тормозит
Его использую, да
И гайд читал этот
Но сериализовать не могу
В консоли все выводится но не в апи
источник

S

Slach in ClickHouse не тормозит
Даниил Погудин
Его использую, да
И гайд читал этот
Но сериализовать не могу
В консоли все выводится но не в апи
ну сделайте issue на github у carrotquest с примером кода и ожидаемым результатом, может скажут что умное
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Slach
/etc/clickhouse-server/config.d/remove_logs.xml


Но не советую так делать, оставьте хотя бы query_log. потом отлаживать замучаетесь
Спасибо!
источник

s

ssv in ClickHouse не тормозит
Подскажите, как обозначить одинарную кавычку ', что-то совсем туплю... через '\'' не получается
источник

S

Slach in ClickHouse не тормозит
ssv
Подскажите, как обозначить одинарную кавычку ', что-то совсем туплю... через '\'' не получается
именно через
\' 
оно внутри одинарных кавычек и задается

какой язык\клиент?
источник

SC

Smoked Cheese in ClickHouse не тормозит
ssv
Подскажите, как обозначить одинарную кавычку ', что-то совсем туплю... через '\'' не получается
Кавычки кавычками экранируются
источник