Size: a a a

ClickHouse не тормозит

2020 July 31

АА

Алексей Артамонов... in ClickHouse не тормозит
Slach
сервак то после взлома с нуля переставили? ;) или надеетесь что взлом не повториться?
ну ЗК закрыл. @vvvjhaq тебе спасибо за помощь! теперь хочу реплики починить + ЗК перегнать в соседнюю сеть с КХ
источник

CO

Chern Oleksander in ClickHouse не тормозит
Всем привет, а как можно получить накопительный итог в кх?
Например таблица id, date_time, amount_sum
и для каждого айди получить накопительную сумму по дням
аналог по-идеи окна
sum(amount_sum) over (partition by id orde by date_time rows between unbounded preceding and current row)
заранее благодарен!
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Всем привет!
А как можно посмотреть логи инсертов в таблицу?
источник

И

Иван in ClickHouse не тормозит
Павел Прохоров
Всем привет!
А как можно посмотреть логи инсертов в таблицу?
Select * from system.query_log - сами запросы и их стата(конечно если логирование включено было).
Плюс можно логи сервера посмотреть по query_id инсерта (если был включен достаточно высокий уровень логирования)
Если вы вручную запускаете инсерт через clickhouse-client - предварительно выставите set send_log_level='trace' и получите логи всего кластера для этого запроса в вашу консоль
источник

ПП

Павел Прохоров... in ClickHouse не тормозит
Иван
Select * from system.query_log - сами запросы и их стата(конечно если логирование включено было).
Плюс можно логи сервера посмотреть по query_id инсерта (если был включен достаточно высокий уровень логирования)
Если вы вручную запускаете инсерт через clickhouse-client - предварительно выставите set send_log_level='trace' и получите логи всего кластера для этого запроса в вашу консоль
спасибо
источник

CO

Chern Oleksander in ClickHouse не тормозит
Вроде как нашел функцию runningAccumulate
но мне нужно еще в группе для каждого Id, а версия у меня 19.11.3
а доп группировака для функции только с 20
Как можно обойти ? )
Спасибо!
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
Коллеги, привет. Подскажите плиз, нормально ли, что запрос пытается читать из 18млн строк, несмотря на то, что в таблице их 1.5млн всего? При этом это простой селект с where по двум полям из primary key (GUID и enum)
{60f46a45-580d-4fd5-9f89-73913632d5cd} <Trace> db2.e1_5 (SelectExecutor): Reading approx. 18038784 rows with 4 streams
Вопрос к тому, что выполняется все что-то как-то очень долго, 200-300 сек.
источник

M

M in ClickHouse не тормозит
Всем привет!

Clickhouse 20.4. Создал словарь через DDL. XML с конфигом словарей удален. Данные из словаря получить могу, если выполняю select *, а если использую dictGet*, то получаю  DB::Exception: external dictionary 'documentType' not found (version 20.4.6.53 (official build)) .То есть надо вернуть конфиг, или как?
источник

DD

Dig Diver in ClickHouse не тормозит
Насколько безопасно обновить 19.13 на 20.5? Или лучше не рисковать?
источник

✔️AlexanderWM 💎... in ClickHouse не тормозит
Кто не рискует, тот лишает себя удовольствия фантастических ночных попыток восстановления базы в работоспособное состояние.
источник

DD

Dig Diver in ClickHouse не тормозит
✔️AlexanderWM 💎
Кто не рискует, тот лишает себя удовольствия фантастических ночных попыток восстановления базы в работоспособное состояние.
👍
источник

DD

Dig Diver in ClickHouse не тормозит
Так как тогда правильно переехать на новую версию сервера? Или остаток жизни сидеть на старом?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Dig Diver
Так как тогда правильно переехать на новую версию сервера? Или остаток жизни сидеть на старом?
Ну как все делают - поднимают тестовый стенд, разворачивают там базу с лайва и долго и вдумчиво тестируют, как работает ваше приложение на новой версии клика.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Алексей Артамонов
@den_crane привет. У меня возник такой вопрос: после взлома у меня реплики различаются по количеству данных, ты говорил что надо проделать процедуру восстановления, но мне @dj_mixer посоветовал вариант с созданием рядом таблички скажем с префиксом table_new туда залить данные и потом старую дропнуть или переименовать в table_old, а table_new переименовать в table. что посоветуешь ?
а в system.parts что различается у реплик? кол-во партов? кол-во строк в столбик (rows) в партах?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Chern Oleksander
Всем привет, а как можно получить накопительный итог в кх?
Например таблица id, date_time, amount_sum
и для каждого айди получить накопительную сумму по дням
аналог по-идеи окна
sum(amount_sum) over (partition by id orde by date_time rows between unbounded preceding and current row)
заранее благодарен!
https://t.me/clickhouse_ru/162540

с помощью массивов можно эмулировать практически любые window functions
источник

b

bl17zar in ClickHouse не тормозит
M
Всем привет!

Clickhouse 20.4. Создал словарь через DDL. XML с конфигом словарей удален. Данные из словаря получить могу, если выполняю select *, а если использую dictGet*, то получаю  DB::Exception: external dictionary 'documentType' not found (version 20.4.6.53 (official build)) .То есть надо вернуть конфиг, или как?
попробуй указать название базы db_name.documentType
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ян Калмычков
Коллеги, привет. Подскажите плиз, нормально ли, что запрос пытается читать из 18млн строк, несмотря на то, что в таблице их 1.5млн всего? При этом это простой селект с where по двум полям из primary key (GUID и enum)
{60f46a45-580d-4fd5-9f89-73913632d5cd} <Trace> db2.e1_5 (SelectExecutor): Reading approx. 18038784 rows with 4 streams
Вопрос к тому, что выполняется все что-то как-то очень долго, 200-300 сек.
да, нормально
Reading approx. 18038784 -- это кол-во вычисляется типа надо обойти 4565 marks, предполагаем что в них 8192 строк, умножаем, получаем 18038784. А на самом деле было меньше чем 8192 строк в гранулах.

покажите запрос, структуру таблицы, нам станет понятнее почему 200-300
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
M
Всем привет!

Clickhouse 20.4. Создал словарь через DDL. XML с конфигом словарей удален. Данные из словаря получить могу, если выполняю select *, а если использую dictGet*, то получаю  DB::Exception: external dictionary 'documentType' not found (version 20.4.6.53 (official build)) .То есть надо вернуть конфиг, или как?
новые словари можно вызывать только с именем базы dictGet('база.documentType',
это сделано чтобы различать какой словарь вы хотите xml или ddl.
т.е. или переписывайте запросы select dictGet или возвращайте xml
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dig Diver
Насколько безопасно обновить 19.13 на 20.5? Или лучше не рисковать?
тестировать на стейдже, потом обновлять и даунгрейдить стейдж, почитать про даунгрейд, попробовать его сделать, понять почему не получилось, спросить в чате, перенастроить 20.5, повторить.
источник

M

M in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
новые словари можно вызывать только с именем базы dictGet('база.documentType',
это сделано чтобы различать какой словарь вы хотите xml или ddl.
т.е. или переписывайте запросы select dictGet или возвращайте xml
понял, так работает. Спасибо!
источник