Телеграмм чат группы clickhouse

2020 September 08

PL

Pavel Larkin in ClickHouse не тормозит

На версии 19.17.6.36 проблема сохранялась
На версии 19.13.1.11 - полечилось

источник

18:33пожаловаться #1

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Pavel Larkin

при обновлении на 19ую (19.4.5.35) версию все прошло гладко
но при обновлении на 20ую (20.8.2.3) кликхаус стал падать с ошибкой аттача таблицы из-за словарей:
<Error> Application: DB::Exception: external dictionary 'xxx' not found: default expression and column type are incompatible.: Cannot attach table ...
Почитал нарушения обратной совместимости, но про словари там вроде не было

Покажите пример default expression

источник

18:37пожаловаться #2

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Pavel Larkin

На версии 19.17.6.36 проблема сохранялась
На версии 19.13.1.11 - полечилось

жесть

источник

18:37пожаловаться #3

SM

Serhii Mikhno in ClickHouse не тормозит

Всем привет в этом чатике!
Версия v20.3.7.

Прилетело много данных - неожиданно закончилось место на диске (32ТБ). Пытаюсь руками сделать DETACH PARTITION - клиент либо зависает, либо говорит, что отработало но в /detached ничего не появляется, как и в system.detached_parts

Следуя подсказке (https://github.com/ClickHouse/ClickHouse/issues/3531#issuecomment-463005172) - попробовал сделать DETACH TABLE что бы руками почистить в /data. Но запрос завис и сейчас я боюсь его прерывать, что бы окончательно не закораптить данные.

В логах много такого Part 20200820_14966342_15335278_799_16113824 intersects previous part 20200820_14683791_15100291_1725_14966284

Можно ли как то удалить старые партишены и в чем причина зависания запроса на DETACH (KILL SYNC тоже потом зависает).

Спасибо за подсказки или пинки в нужную сторону. Гугл читал - пока ничего не нашел.

GitHub

Can I manually delete partition directories under /var/lib/clickhouse/data/default/MyTable/ · Issue #3531 · ClickHouse/ClickHouse

Hello all, I have experienced issues while dropping tables and reported the issue here: #3497 Question> Can I manually delete OLD directory under /var/lib/clickhouse/data/default/MyTable/ wh...

источник

18:38пожаловаться #4

SM

Serhii Mikhno in ClickHouse не тормозит

partition_id:   20200729
table: app_logs
size: 3

Пустая партиция - делаю detach - зависает. Может ли где то быть какой то лок?

источник

18:45пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Serhii Mikhno

Всем привет в этом чатике!
Версия v20.3.7.

Прилетело много данных - неожиданно закончилось место на диске (32ТБ). Пытаюсь руками сделать DETACH PARTITION - клиент либо зависает, либо говорит, что отработало но в /detached ничего не появляется, как и в system.detached_parts

Следуя подсказке (https://github.com/ClickHouse/ClickHouse/issues/3531#issuecomment-463005172) - попробовал сделать DETACH TABLE что бы руками почистить в /data. Но запрос завис и сейчас я боюсь его прерывать, что бы окончательно не закораптить данные.

В логах много такого Part 20200820_14966342_15335278_799_16113824 intersects previous part 20200820_14683791_15100291_1725_14966284

Можно ли как то удалить старые партишены и в чем причина зависания запроса на DETACH (KILL SYNC тоже потом зависает).

Спасибо за подсказки или пинки в нужную сторону. Гугл читал - пока ничего не нашел.

GitHub

Can I manually delete partition directories under /var/lib/clickhouse/data/default/MyTable/ · Issue #3531 · ClickHouse/ClickHouse

Hello all, I have experienced issues while dropping tables and reported the issue here: #3497 Question> Can I manually delete OLD directory under /var/lib/clickhouse/data/default/MyTable/ wh...

таблицы replicated ?

что появляется в логе КХ при DETACH TABLE ?

источник

18:45пожаловаться #6

PL

Pavel Larkin in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

Покажите пример default expression

описание словаря: https://pastebin.com/QTETxsxX
поле в табличке:
xxxName String ALIAS dictGetString('xxx', 'xxx', CAST(xxxId, 'UInt64'))

Pastebin

<dictionary> <name>xxx</name> <source> <http> - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

источник

18:45пожаловаться #7

SM

Serhii Mikhno in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

таблицы replicated ?

что появляется в логе КХ при DETACH TABLE ?

нет, одна нода, не replicated
в логах ошибок кроме intersects previous part ничего

источник

18:50пожаловаться #8

SM

Serhii Mikhno in ClickHouse не тормозит

Только если отменить бугущую кверю - будет:

<Error> HTTPHandler: Code: 373, e.displayText() = DB::Exception: Session is locked by a concurrent client., Stack trace (when copying this message, always include the lines below)

источник

18:52пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Serhii Mikhno

нет, одна нода, не replicated
в логах ошибок кроме intersects previous part ничего

kill -9 , убирать парты на которые ругается про intersects previous part
чистить место , поднимать КХ, пытаться приатачить парты которые убрали

источник

18:52пожаловаться #10

SM

Serhii Mikhno in ClickHouse не тормозит

т.е. выключить КХ, удалить руками все нужные папки в data?

источник

18:53пожаловаться #11

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Serhii Mikhno

т.е. выключить КХ, удалить руками все нужные папки в data?

не удалить, отложите куда-нибудь

источник

19:06пожаловаться #12

DC

Denny Crane [not a Y... in ClickHouse не тормозит

можно просто в detached

источник

19:06пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

но чтоб место на диске появилось

источник

19:07пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Pavel Larkin

описание словаря: https://pastebin.com/QTETxsxX
поле в табличке:
xxxName String ALIAS dictGetString('xxx', 'xxx', CAST(xxxId, 'UInt64'))

Pastebin

<dictionary> <name>xxx</name> <source> <http> - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

а полностью трейс ?

источник

19:07пожаловаться #15

SM

Serhii Mikhno in ClickHouse не тормозит

Я нашел, как освободить 1ТБ, но все еще не могу понять механику, при которой КХ зависает, адже если взять id партиции от балды и попробовать ее задетачить.

источник

19:08пожаловаться #16

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Pavel Larkin

описание словаря: https://pastebin.com/QTETxsxX
поле в табличке:
xxxName String ALIAS dictGetString('xxx', 'xxx', CAST(xxxId, 'UInt64'))

Pastebin

<dictionary> <name>xxx</name> <source> <http> - Pastebin.com

Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.

а, я понял, словари вообще не завелись.

из-за разных конфигов в 20 и 19

вам надо словари из основной папки конфигов передвинуть куда угодно, например в папку dict и в конфиг указать что словари в dict
<dictionaries_config>dict/*.xml</dictionaries_config>

источник

19:08пожаловаться #17

PL

Pavel Larkin in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

а, я понял, словари вообще не завелись.

из-за разных конфигов в 20 и 19

вам надо словари из основной папки конфигов передвинуть куда угодно, например в папку dict и в конфиг указать что словари в dict
<dictionaries_config>dict/*.xml</dictionaries_config>

о, спасибо, попробую!

источник

19:14пожаловаться #18

A(

Andrew (backEnd) in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

есть некоторые эвристики которые решают при optimize_move_to_prewhere=1 стоит предикат переносить в prewhere или нет

I'll try to explain how I understand prewhere

create table (a,b,c,d) order by a,b

select a,b,c,d from prewhere a=? and b=? and c=?

CH will use index, navigate to marks a=? and b=?
Using marks filter column c ang gets a new set of marks (more narrow) for c=?
then CH reads column d and gets d values for new set of marks

Извините за поднятие старого поста, но правильно ли я понимаю, что столбец С не имеет смысл переносить в prewhere, если он не указан в order by a,b

источник

21:03пожаловаться #19

A(

Andrew (backEnd) in ClickHouse не тормозит

или важнее вообще поле, указанное в PARTITION BY

источник

21:06пожаловаться #20