Size: a a a

ClickHouse не тормозит

2021 January 26

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Maxim Dzeckelev
Действительно в одном из конфигов была ошибка. 2 сервера из разных шардов были местами перепутаны.
Спасибо огромное за ваше время.
да без проблем, тут у половины такая фигня была.

сильно неочивидно что для replicated и distributed можно по разному кластер описать
источник

CO

Chern Oleksander in ClickHouse не тормозит
Всем привет и опять вопрос (
не могу отработать show users
пишет e.displayText() = DB::Exception: Syntax error
что не так?
Использую DataGrip
источник

mc

mikhail chubukov in ClickHouse не тормозит
Привет, может ли внешний словарь собираться из sql запроса?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Chern Oleksander
Всем привет и опять вопрос (
не могу отработать show users
пишет e.displayText() = DB::Exception: Syntax error
что не так?
Использую DataGrip
версия КХ ?
DataGrip имеет свой собственный парсер SQL и разные версии DataGrip понимают разные КХ SQL
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
mikhail chubukov
Привет, может ли внешний словарь собираться из sql запроса?
в каком-то смысле да.

можно использовать view вместо таблицы
можно использовать expressions для полей
можно использовать where секцию в dictionary

т.е. буквально написать

select aaaa, toDate(bbb) bbb
from view
where bbb=now()
источник

mc

mikhail chubukov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в каком-то смысле да.

можно использовать view вместо таблицы
можно использовать expressions для полей
можно использовать where секцию в dictionary

т.е. буквально написать

select aaaa, toDate(bbb) bbb
from view
where bbb=now()
Спасибо!
источник

mc

mikhail chubukov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в каком-то смысле да.

можно использовать view вместо таблицы
можно использовать expressions для полей
можно использовать where секцию в dictionary

т.е. буквально написать

select aaaa, toDate(bbb) bbb
from view
where bbb=now()
а вот в какое место?)

CREATE DICTIONARY dict_name
(
   ... -- attributes
)
PRIMARY KEY ... -- complex or single key configuration
SOURCE(...) -- Source configuration
LAYOUT(...) -- Memory layout configuration
LIFETIME(...) -- Lifetime of dictionary in memory
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
mikhail chubukov
а вот в какое место?)

CREATE DICTIONARY dict_name
(
   ... -- attributes
)
PRIMARY KEY ... -- complex or single key configuration
SOURCE(...) -- Source configuration
LAYOUT(...) -- Memory layout configuration
LIFETIME(...) -- Lifetime of dictionary in memory
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/

SOURCE(MYSQL(
   port 3306
   user 'clickhouse'
   password 'qwerty'
   replica(host 'example01-1' priority 1)
   replica(host 'example01-2' priority 1)
   db 'db_name'
   table 'table_name'
   where 'id=10'
   invalidate_query 'SQL_QUERY'
))
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
ещё может быть что места на диске нет.
Смотрите в логи, там увидите ошибки почему мерджи не идут
Место есть и КХ это видит:
<Debug> DiskSpaceMonitor: Reserving 1.00 MiB on disk default, having unreserved 4.85 TiB.
источник

mc

mikhail chubukov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/

SOURCE(MYSQL(
   port 3306
   user 'clickhouse'
   password 'qwerty'
   replica(host 'example01-1' priority 1)
   replica(host 'example01-2' priority 1)
   db 'db_name'
   table 'table_name'
   where 'id=10'
   invalidate_query 'SQL_QUERY'
))
Шикарно, спасибо!
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
ещё может быть что места на диске нет.
Смотрите в логи, там увидите ошибки почему мерджи не идут
А по какому слову искать, в логе ошибок не вижу:
по этой таблице идут мерджи:
2021.01.26 17:47:53.456366 [ 41 ] {} <Debug> default.graphite_week2 (MergerMutator): Merging 6 parts: from 20210125_37176_37176_0 to 20210125_37181_37181_0 into tmp_merge_20210125_37176_37181_1
2021.01.26 17:47:53.456738 [ 41 ] {} <Debug> default.graphite_week2 (MergerMutator): Selected MergeAlgorithm: Horizontal
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
версия КХ ?  select version()
20.12.3.3. Проблема проявляется на чтении distributed таблицы, на merge tree все ок.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Sesiunin
20.12.3.3. Проблема проявляется на чтении distributed таблицы, на merge tree все ок.
обновитесь до 20.12.5.14
установите в профиле пользователя default read_backoff_min_latency_ms=0
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
привет, подскажите как на лету поменять параметр.
Set ‘joined_subquery_requires_alias=0’
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
так и вбить в clickhouse-client?
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
А по какому слову искать, в логе ошибок не вижу:
по этой таблице идут мерджи:
2021.01.26 17:47:53.456366 [ 41 ] {} <Debug> default.graphite_week2 (MergerMutator): Merging 6 parts: from 20210125_37176_37176_0 to 20210125_37181_37181_0 into tmp_merge_20210125_37176_37181_1
2021.01.26 17:47:53.456738 [ 41 ] {} <Debug> default.graphite_week2 (MergerMutator): Selected MergeAlgorithm: Horizontal
ну попробуйте "Not executing log entry"
источник

mc

mikhail chubukov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/

SOURCE(MYSQL(
   port 3306
   user 'clickhouse'
   password 'qwerty'
   replica(host 'example01-1' priority 1)
   replica(host 'example01-2' priority 1)
   db 'db_name'
   table 'table_name'
   where 'id=10'
   invalidate_query 'SQL_QUERY'
))
Подскажите, пожалуйста, еще куда прописать пути для зукипера при создании внешнего словаря?
источник

D

Dj in ClickHouse не тормозит
Евгений Овчинников
привет, подскажите как на лету поменять параметр.
Set ‘joined_subquery_requires_alias=0’
можно
select ... from xx SETTINGS joined_subquery_requires_alias=0

в клиете тож можно
clickhouse-client --joined_subquery_requires_alias=0
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
я сделал на тестовом сервере set joined_subquery_requires_alias=0

затем проверил:
select value from system.settings where name like '%joined_subquery_requires_alias%';
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
всё применилось
источник