Size: a a a

ClickHouse не тормозит

2020 July 30

YV

Yuri Velgosha in ClickHouse не тормозит
Maxim Pronkin
не варик, контейнер падает при такой конфигурации.
Значит не в то место добавил... Я обычно в папку conf.d прокидываю файлик config.xml приблизительно такого содержимого:
<?xml version="1.0"?>
<yandex>
   <logger>
       <level>warning</level>
   </logger>

   <listen_host replace="1">::</listen_host>
   <max_server_memory_usage_to_ram_ratio replace="1">100</max_server_memory_usage_to_ram_ratio>
   <max_concurrent_queries replace="1">1000</max_concurrent_queries>

</yandex>
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Yuri Velgosha
Значит не в то место добавил... Я обычно в папку conf.d прокидываю файлик config.xml приблизительно такого содержимого:
<?xml version="1.0"?>
<yandex>
   <logger>
       <level>warning</level>
   </logger>

   <listen_host replace="1">::</listen_host>
   <max_server_memory_usage_to_ram_ratio replace="1">100</max_server_memory_usage_to_ram_ratio>
   <max_concurrent_queries replace="1">1000</max_concurrent_queries>

</yandex>
<?xml version="1.0"?>
   <yandex>
       <logger>
           <level>warning</level>
           <log>/var/log/clickhouse-server/clickhouse-server.log</log>
           <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
           <size>100M</size>
           <count>7</count>
       </logger>
       <http_port>8123</http_port>
       <tcp_port>9000</tcp_port>
       <listen_host>0.0.0.0</listen_host>
       <max_connections>4096</max_connections>
       <max_memory_usage>0</max_memory_usage>
       <use_uncompressed_cache>1</use_uncompressed_cache>
       <max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
       <keep_alive_timeout>3</keep_alive_timeout>
       <max_concurrent_queries>100000</max_concurrent_queries>
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ну значит docker logs надо смотреть, чё ему вдруг не нравится.
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Yuri Velgosha
Ну значит docker logs надо смотреть, чё ему вдруг не нравится.
Возможные значения:

Положительное число с плавающей запятой.
0 — сервер Clickhouse может использовать всю оперативную память.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Pronkin
Коллеги дайте совет.

Ситуация: есть stanalone инсталяция КХ, не могу понять почему валятся ошибки о том что запрос не смог с аллоцировать память.

exceeded: would use 45.91 GiB (attempt to allocate chunk of 4552973 bytes), maximum: 45.90 GiB

память уже неоднократно добавлял и каждый раз одна и та же ошибка. (только лимиты разные)

проблема и на select'ax и на insert'ax (порядка 100-1000 строк). Прогонял запросы руками больше 1Гига памяти не жрут. Кол-во коннектов очень маленькое. Сервер откровенно отдыхает, я вижу что более 4-6 гигов оперативки не используется.
exceded какой лимит? total ? session? Полностью сообщение можете скопировать?
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Есть кто работает с КХ из голанг?
Юзаю драйвер от маилру. Не бывало ли у кого трудностей с чтением Array(Decimal) ?
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
exceded какой лимит? total ? session? Полностью сообщение можете скопировать?
сообщение об ошибке? https://pastebin.com/raw/Jtr5Nm1H
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Pronkin
сообщение об ошибке? https://pastebin.com/raw/Jtr5Nm1H
Я хотел всего  лишь "DB::Exception: Memory limit (total) exceeded:"
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да вам правльно подсказыают про max_server_memory_usage_to_ram_ratio https://github.com/ClickHouse/ClickHouse/issues/12583
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
И это должно работать в докере
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
И это должно работать в докере
Благодарю. Буду пробовать еще.
источник

D

Denis Goihburg in ClickHouse не тормозит
Привет,
При вставке данных заметил, что CH формирует блоки размера ~61000 строк, что сильно меньше чем я ожидал.
Вставляю данные через JDBC батчами по 3 000 000.
Каждый батч вставляет данные, которые относятся исключительно к 1 партиции.

Настройки на скриншотах.
Куда можно еще копнуть, чтобы понять что происходит?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Slach
@den_crane
У меня вопрос =) а нельзя ли сделать как  то чтобы несколько нод сливали ReplicatedMergeTree таблицу на одну и при этом удаляли данные по TTL у себя?

по идее если один и тот же хост в remote_server прописать
и на нем создать таблицы без TTL
а на остальные прописать TTL ?

хотя наверное будет каша, потому что этот хост будет между шардами пропихивать через zookeeper изменения?
1. remote_server не имеет отношения к репликации
2. нельзя в репликейтид таблице иметь разные данные на репликах, и TTL работает тоже на всех репликах.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denis Goihburg
Привет,
При вставке данных заметил, что CH формирует блоки размера ~61000 строк, что сильно меньше чем я ожидал.
Вставляю данные через JDBC батчами по 3 000 000.
Каждый батч вставляет данные, которые относятся исключительно к 1 партиции.

Настройки на скриншотах.
Куда можно еще копнуть, чтобы понять что происходит?
что в инсерте написано? и как вы заметили ~61000?

возможно из-за min_insert_block_size_bytes = 256MB, надо увеличива ть

https://gist.github.com/den-crane/21a84a9a8a9e5203195a7f023a0ec363
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Iaroslav Romanov
Можешь подсказать, куда отправить баг-репорт? Мне в трекере в очереди YQL сказали в этом чате разбираться.
что такое any full join? в какой версии?

(version 20.5.3):ANY FULL JOINs are not implemented..

а я понял с set any_join_distinct_right_table_keys=1 работает, в 20.5 правильный результат
источник

D

Denis Goihburg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
что в инсерте написано? и как вы заметили ~61000?

возможно из-за min_insert_block_size_bytes = 256MB, надо увеличива ть

https://gist.github.com/den-crane/21a84a9a8a9e5203195a7f023a0ec363
что в инсерте написано? « insert into (...) values (...)
и как вы заметили ~61000 « по размеру партов с level = 0 в system.parts для таргет таблицы

Спасибо, попробую.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят дайте пожалуйста совет.Нужно сделать агрегацию, одну коллонку которой нужно считать как count(), а второе поле как последнее записанное значение для ключа сортировки.
Одно поле мне покрывает AggregatingMergeTree,  а другое — ReplacingMergeTree.
Возможно ли как-то сделать все в рамках AggregatingMergeTree?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
Ребят дайте пожалуйста совет.Нужно сделать агрегацию, одну коллонку которой нужно считать как count(), а второе поле как последнее записанное значение для ключа сортировки.
Одно поле мне покрывает AggregatingMergeTree,  а другое — ReplacingMergeTree.
Возможно ли как-то сделать все в рамках AggregatingMergeTree?
argMax или max в AggregatingMergeTree SimpleAggegateFunction
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
argMax или max в AggregatingMergeTree SimpleAggegateFunction
спасибо!
argMax — не использовал раньше как-то )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
спасибо!
argMax — не использовал раньше как-то )
пример покажите (create / insert) что на входе что надо на выходе
источник