Size: a a a

ClickHouse не тормозит

2020 July 03

K

Ketzalcoatl in ClickHouse не тормозит
Помогите пожалуйста, что содержится в таблице system.events?
источник

Qu

Q ute in ClickHouse не тормозит
Привет. Подскажите плз, с кодировкой что-то не так и в каких-то строках знак вопроса �. Можно ли как-то написать запрос, чтобы получить эти самые строки?
пример строки:
cyrillitsa_�
пытался матчить
match(column, 'cyrillitsa_�')
match(column, 'cyrillitsa_(.|\s)'
и проч. Но кх упорствует и не хочется отдавать эти строки
версия 19.4.2.7
источник

Н

Николай in ClickHouse не тормозит
Ketzalcoatl
Помогите пожалуйста, что содержится в таблице system.events?
источник

AL

Aleksey Laptev in ClickHouse не тормозит
Всем привет

No metadata in ZooKeeper - лечится по простому?
источник

МП

Модина Питон... in ClickHouse не тормозит
Aleksey Laptev
Всем привет

No metadata in ZooKeeper - лечится по простому?
источник

AL

Aleksey Laptev in ClickHouse не тормозит
это как раз сложны вариант
источник

DT

Dmitry Titov in ClickHouse не тормозит
Aleksey Laptev
Всем привет

No metadata in ZooKeeper - лечится по простому?
если кх не врет и zookeeper доступен и действительно девственно пуст, то лечиться только пересоздаваем всех реплицированных таблиц
источник

MK

Matwey Kornilov in ClickHouse не тормозит
Я как-то так из видео и не понял откуда взялось 1/256. Из объяснения Алексея, при достижении max_bytes_before_external_group_by хэш таблица группировки сериализуется, сжимается, и кладется на диск. Т.е. как я понял на диске таких таблиц окажется некоторое число N, которое зависит от того сколько было данных и чему равно max_bytes_before_external_group_by. А дальше то что происходит? Где-нибудь описан процесс непосредственного слияния уже готовых хеш-таблиц с диска?
источник

D

Dj in ClickHouse не тормозит
Matwey Kornilov
Я как-то так из видео и не понял откуда взялось 1/256. Из объяснения Алексея, при достижении max_bytes_before_external_group_by хэш таблица группировки сериализуется, сжимается, и кладется на диск. Т.е. как я понял на диске таких таблиц окажется некоторое число N, которое зависит от того сколько было данных и чему равно max_bytes_before_external_group_by. А дальше то что происходит? Где-нибудь описан процесс непосредственного слияния уже готовых хеш-таблиц с диска?
в коде описан. 256 - хардкод. Если не влезает, КХ делит на 256 бакетов, обрабатывает отдельно, потом объединяет результат.
источник

MK

Matwey Kornilov in ClickHouse не тормозит
Dj
в коде описан. 256 - хардкод. Если не влезает, КХ делит на 256 бакетов, обрабатывает отдельно, потом объединяет результат.
Не понял, кого именно делит 😞 В моем представлении, делается скан по таблице с данными, и результаты складываются в хэш-таблицу используя значение группировки в качестве ключа. В какой-то момент размер хеш-таблицы становится равен max_bytes_before_external_group_by.

Дальше такая хеш-таблица делится на 256 частей по бакетам? Т.е. теперь для каждого бакета мы делаем свой скан таблицы и только этот бакет заполняем, и так пока все 256 бакетов не обработаем?
источник

SK

Sam Krew in ClickHouse не тормозит
Коллеги, у нас упал сервер с одной нодой зукипера и нодой кх (из 3х, реплицируемых). Сейчас получаем ошибку после старта:

2020.07.03 11:32:51.195005 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 132, e.displayText() = DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/core//history.sql, error: DB::Exception: Table contains parts with adaptive and non adaptive marks, but setting enable_mixed_granularity_parts is disabled, stack trace:
0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x30) [0x7f6b5f0]

Как можно поправить?
Версия кх: 19.13.3.26
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Sam Krew
Коллеги, у нас упал сервер с одной нодой зукипера и нодой кх (из 3х, реплицируемых). Сейчас получаем ошибку после старта:

2020.07.03 11:32:51.195005 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 132, e.displayText() = DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/core//history.sql, error: DB::Exception: Table contains parts with adaptive and non adaptive marks, but setting enable_mixed_granularity_parts is disabled, stack trace:
0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x30) [0x7f6b5f0]

Как можно поправить?
Версия кх: 19.13.3.26
Ну дык разрешите вот енто дело:   setting enable_mixed_granularity_parts
источник

SK

Sam Krew in ClickHouse не тормозит
Судя по гитхабу - можно обновить версию кх и там будет по-умолчанию включено. Просто страшно)
источник

YV

Yuri Velgosha in ClickHouse не тормозит
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ну вот, чтобы не страшно - просто в конфиге merge_tree разрешить это надо явно.
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ибо апдейт КХ может вылиться в ту еще лотерею...
источник

SK

Sam Krew in ClickHouse не тормозит
Спасибо!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
rasstroen
Доброе утро! Не сталкивался никто с “Cannot load time zone Etc/GMT+3” ошибкой?
пакет tzdata нужен
а хотя нет он в 20.5 уже не нужен
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Всем доброе утро. А подскажите, пожалуйста, по простому вопросу, запрос
ALTER TABLE test_wrk.test_table DROP PARTITION toYYYYMMDD(toDate('2020-06-26'))
падает с ошибкой
Exception: Syntax error: failed at position 97 (end of query): . Expected one of: LIKE, GLOBAL NOT IN, IS, OR, QuestionMark, BETWEEN, NOT LIKE, AND, IN, NOT, token, NOT IN, GLOBAL IN (version 20.4.6.53 (official build))
В чём может быть проблема?
убрали выражения из манипуляций с партициями

обходной путь остался

ALTER TABLE test_wrk.test_table DROP PARTITION tuple(toYYYYMMDD(toDate('2020-06-26')))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
А это уже интереснее, спасибо, а возможно каким-то образом повторить эту логику в запросе, чтобы использовать значения? Вот здесь, кстати, https://clickhouse.tech/docs/ru/sql-reference/statements/alter/#alter-how-to-specify-part-expr указана получается неактуальная информация, т.к. там есть такой способ
убрали в 20.3 или в 20.4
источник