Size: a a a

ClickHouse не тормозит

2021 March 24

РА

Романов Александр... in ClickHouse не тормозит
коллеги, очень прощу помощи.
линукс, 8 ядер, 16 оперативы, +- свежая версия кх.
начал расти LA, нагрузка только инсерт, селектов нет.
кол-во инсертов за последние 3-5 дней не менялось. LA начал расти последние два часа.

первая табоица
engine = MergeTree() PARTITION BY toYYYYMM(created_at) ORDER BY tuple() SETTINGS storage_policy = 'single', index_granularity = 8192;


вторая таблица такая же

третья таблица
engine = ReplacingMergeTree() PARTITION BY toYYYYMM(event_dt) ORDER BY (event_dt) SETTINGS storage_policy = 'single', index_granularity = 8192;



подскажите куда смотреть что читать?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Романов Александр
коллеги, очень прощу помощи.
линукс, 8 ядер, 16 оперативы, +- свежая версия кх.
начал расти LA, нагрузка только инсерт, селектов нет.
кол-во инсертов за последние 3-5 дней не менялось. LA начал расти последние два часа.

первая табоица
engine = MergeTree() PARTITION BY toYYYYMM(created_at) ORDER BY tuple() SETTINGS storage_policy = 'single', index_granularity = 8192;


вторая таблица такая же

третья таблица
engine = ReplacingMergeTree() PARTITION BY toYYYYMM(event_dt) ORDER BY (event_dt) SETTINGS storage_policy = 'single', index_granularity = 8192;



подскажите куда смотреть что читать?
select * from system.merges
источник

M

Mishanya in ClickHouse не тормозит
добрый
а подскажите
появилась ошибка rate limit for user “user” is exceeded request_per_minute limit 100

какой секцией в users.xml этот лимит регулируется или какой настройкой ?

сейчас в users.xml quotas - queires - 0 (unlim)
statbox не заполнял
источник

РА

Романов Александр... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
select * from system.merges
у меня там одна таблица. кратко прочитал мануал по system.merges, обратил внимание на elapsed
спасибо, она работаем медленнее желаемого
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Романов Александр
у меня там одна таблица. кратко прочитал мануал по system.merges, обратил внимание на elapsed
спасибо, она работаем медленнее желаемого
так а что там у вас? Я желаю чтобы оно всегда работало за 0 микросекунд?
в принципе все можно настроить, но надо знать зачем, куда стреляем?
источник

РА

Романов Александр... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
так а что там у вас? Я желаю чтобы оно всегда работало за 0 микросекунд?
в принципе все можно настроить, но надо знать зачем, куда стреляем?
до 5 секунд иногда доходит третья, две первые в одну десятую укладываются точно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Романов Александр
до 5 секунд иногда доходит третья, две первые в одну десятую укладываются точно
эм что? мержи у меня по 4 часа например бывают и по 12. Тут как бы ничего удивительного нет.
источник

РА

Романов Александр... in ClickHouse не тормозит
5 секунд на 2к записей?  я конечно совсем новичок в кх, но это немного странно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
добрый
а подскажите
появилась ошибка rate limit for user “user” is exceeded request_per_minute limit 100

какой секцией в users.xml этот лимит регулируется или какой настройкой ?

сейчас в users.xml quotas - queires - 0 (unlim)
statbox не заполнял
а юзер создан через xml или sql?
источник

РА

Романов Александр... in ClickHouse не тормозит
xml
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Романов Александр
5 секунд на 2к записей?  я конечно совсем новичок в кх, но это немного странно
зависит от ширины записей и того какой диск, покажите select * from system.merges, там видно сколько байт
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а юзер создан через xml или sql?
sql
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну так причем тут users.xml ?
show quota ...
источник

РА

Романов Александр... in ClickHouse не тормозит
источник

M

Mishanya in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну так причем тут users.xml ?
show quota ...
interval=[2021-03-24 13:00:00 .. 2021-03-24 14:00:00] queries=0 errors=0 result_rows=0 result_bytes=0 read_rows=0 read_bytes=0 execution_time=0
источник

M

Mishanya in ClickHouse не тормозит
у меня только 1 юзер )
источник

РА

Романов Александр... in ClickHouse не тормозит
диск ssd в digitalocean
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
согласен, так не должно быть. Что-то неправильно.
источник

РА

Романов Александр... in ClickHouse не тормозит
но я теперь знаю где, а значит примерно понятно что надо лечить
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Романов Александр
но я теперь знаю где, а значит примерно понятно что надо лечить
а сколько полей в locations ? '
это она ORDER BY tuple() ?
источник