Size: a a a

ClickHouse не тормозит

2021 March 12

D

Dj in ClickHouse не тормозит
Pavel Khripkov
Спасибо, попробую, тогда отпишусь. Что такое МВ?)
например у вас идет инсерт в таблицу на которую навешан МВ в котором есть join
источник

PK

Pavel Khripkov in ClickHouse не тормозит
Dj
например у вас идет инсерт в таблицу на которую навешан МВ в котором есть join
Точно нет, создал новые таблицы MergeTree без матвьюх
источник

D

Dj in ClickHouse не тормозит
Pavel Khripkov
Точно нет, создал новые таблицы MergeTree без матвьюх
max_insert_block_size
и max_threads тоже.

и смотрите по памяти в трейсе как влияет...
источник

PK

Pavel Khripkov in ClickHouse не тормозит
Dj
max_insert_block_size
и max_threads тоже.

и смотрите по памяти в трейсе как влияет...
Ок, сделаю - отпишусь
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Dj
а на команду тоже можно =) по сумме за несколько митапов 😁
Да, просто перечислите на каких митапах были вопросы, и список нужных размеров.
источник

D

Dj in ClickHouse не тормозит
Alexey Milovidov
Да, просто перечислите на каких митапах были вопросы, и список нужных размеров.
👍
источник

VM

Vadim Metikov in ClickHouse не тормозит
Привет всем, по таблице процессов вижу, что слияние идёт в один поток, как можно это поменять?
источник

SD

Stanislav Didenko in ClickHouse не тормозит
Добрый день, подскажите, создаю материализованное представление, наполянемое из другой таблицы. Хочу понять, механизм вставки во вьюху. В какой момент это происходит? Сразу же после вставки в оригинальную таблицу или в неизвестный момент времени?
источник

M

Mikhail in ClickHouse не тормозит
Привет, а подскажите плз кейсы, когда Distributed в асинхронном режиме теряет инсерты, кроме рестартов/падений шардов? и пишет ли в лог что-то кх, когда теряется такой инсерт?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Stanislav Didenko
Добрый день, подскажите, создаю материализованное представление, наполянемое из другой таблицы. Хочу понять, механизм вставки во вьюху. В какой момент это происходит? Сразу же после вставки в оригинальную таблицу или в неизвестный момент времени?
одновременно
источник

AE

A E in ClickHouse не тормозит
Может кто-то  проверить запрос у себя?
create table t engine = Memory as with cte as (select * from numbers(10)) select * from cte
и
create table t engine = Memory as
with cte as (select * from numbers(10))
select * from cte

У меня почему-то многостраничный запрос не работает. Пишет DB::Exception: Table default.cte doesn't exist.

Вроде как это баг был исправлен. https://github.com/ClickHouse/ClickHouse/issues/20187  Однако в 21.2.5-2 наблюдается
источник

SD

Stanislav Didenko in ClickHouse не тормозит
Smoked Cheese
одновременно
И таблица и вьюха с ReplacingMergeTree движком, проверяю актуальность данных, вижу следующее:

SELECT
   (
       SELECT max(found_at)
       FROM mv_actual_rp
       FINAL
   ) AS famv,
   (
       SELECT max(found_at)
       FROM by_origin
   ) AS fabo
┌────────────────famv─┬────────────────fabo─┐
│ 2021-03-12 07:53:01 │ 2021-03-12 07:53:34 │
источник

M

Mishanya in ClickHouse не тормозит
Здравстсуйте
подскажите такой кейс

У меня есть Replacing таблица с изменяемыми полями - entity_id, status, another_changing_field, static_value, etc…
Из-за того, что приходится находить записи с самой большой версией, что бы узнать акутальный статус - слишком много ресусрсов затрагивается. Записей немного, порядка 100кк, но что бы посчитать все - уходит порядка 20-30 секунд.

Вопрос - можно ли придумать какую-то агрегирующую табличку поверх всего этого ?
например, SummingMergeTree с полями аля first_status_sum, second_status_sum, но что бы сумма перетекала из firstt -> second если у записи поменялся стейт
источник

AE

A E in ClickHouse не тормозит
A E
Может кто-то  проверить запрос у себя?
create table t engine = Memory as with cte as (select * from numbers(10)) select * from cte
и
create table t engine = Memory as
with cte as (select * from numbers(10))
select * from cte

У меня почему-то многостраничный запрос не работает. Пишет DB::Exception: Table default.cte doesn't exist.

Вроде как это баг был исправлен. https://github.com/ClickHouse/ClickHouse/issues/20187  Однако в 21.2.5-2 наблюдается
21.2.5.5-2 баг есть
21.2.4.6-2 баг есть
21.2.3.15-2 баг есть
21.2.2.8-2 баг есть
21.1.6 баг есть
источник

NK

Nickolay Kovalev in ClickHouse не тормозит
Подскажите, как понять какие запросы в каких локах висят в конкретный момент? У нас select'ы обычно обрабатываются ~5 секунд, в некоторые моменты видим резкое замедление (>150 секунд, см. пример запросов на картинке). При этом видно, что часть запросов даже не читает данные (висят в lock? в каком / куда?). Также в этот момент видим резкий рост RWLockActiveReaders (> 100, обычно < 10).
источник

G

Glosha in ClickHouse не тормозит
День добрый. подскажите, пожалуйста,  эта красота
Mar 12 09:28:48 graphite-ch-optimizer: time="2021-03-12 09:28:48 MSK" level=error msg="Optimization failed: Fail to merge partition 202008: code: 241 , message: Memory limit (total) exceeded: would use 18.64 GiB (attempt to allocate chunk of 6504576 bytes), maximum: 18.63 GiB: While executing GraphiteRollupSortedTransform"
Этим параметрами душится?
max_memory_usage
max_memory_usage_for_all_queries
max_bytes_before_external_sort
источник

DT

Dmitry Titov in ClickHouse не тормозит
Glosha
День добрый. подскажите, пожалуйста,  эта красота
Mar 12 09:28:48 graphite-ch-optimizer: time="2021-03-12 09:28:48 MSK" level=error msg="Optimization failed: Fail to merge partition 202008: code: 241 , message: Memory limit (total) exceeded: would use 18.64 GiB (attempt to allocate chunk of 6504576 bytes), maximum: 18.63 GiB: While executing GraphiteRollupSortedTransform"
Этим параметрами душится?
max_memory_usage
max_memory_usage_for_all_queries
max_bytes_before_external_sort
: Memory limit (total)

max_memory_usage_for_all_queries в новых версиях она не используется(какая версия у вас?) это скорее

Будут
max_server_memory_usage_to_ram_ratio
max_server_memory_usage
источник

G

Glosha in ClickHouse не тормозит
Dmitry Titov
: Memory limit (total)

max_memory_usage_for_all_queries в новых версиях она не используется(какая версия у вас?) это скорее

Будут
max_server_memory_usage_to_ram_ratio
max_server_memory_usage
источник

DT

Dmitry Titov in ClickHouse не тормозит
тогда на эти смотрите
max_server_memory_usage_to_ram_ratio
max_server_memory_usage
источник

G

Glosha in ClickHouse не тормозит
Спасибо
источник