Size: a a a

ClickHouse не тормозит

2021 January 26

mc

mikhail chubukov in ClickHouse не тормозит
Slach
а причем тут словарь CREATE DICTIONARY и zookeeper?
они никак не связаны, словари на каждой ноде обновляются самостоятельно
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
во всех хостах в replication_queue мало записей? такое просто маловероятно, так как один хост назначает мерджи и они должны быть в очереди...

может мерджи стоят где то? system stop/start merges
Назначает мерджи лидер,  верно,  а как скинуть лидерство,  кооме рестарта текущего лидера?  Stop/start merges поможет?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
show users появился через два года после 19.11
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vadim Metikov
Назначает мерджи лидер,  верно,  а как скинуть лидерство,  кооме рестарта текущего лидера?  Stop/start merges поможет?
detach table  лидер перебежит

в новых кх с 20.4 лидеры -- все реплики одновременно ( кому не запрщено became_leader=false)
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Да,  на всех,  сейчас по 13 записей,  но у всех num_tries=1 и last_exception="" мерджи идут,  но мало,  по 12-13
фигня какая-то, ищите аномалии в мониторинге тогда...
ну и сравните конфиги нодов на всякий
select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.merge_tree_settings)  where name in (
'number_of_free_entries_in_pool_to_lower_max_size_of_merge'
);

select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.settings)  where name in (
'background_pool_size'
);
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
фигня какая-то, ищите аномалии в мониторинге тогда...
ну и сравните конфиги нодов на всякий
select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.merge_tree_settings)  where name in (
'number_of_free_entries_in_pool_to_lower_max_size_of_merge'
);

select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.settings)  where name in (
'background_pool_size'
);
Ок,  спасибо,  буду смотреть
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
фигня какая-то, ищите аномалии в мониторинге тогда...
ну и сравните конфиги нодов на всякий
select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.merge_tree_settings)  where name in (
'number_of_free_entries_in_pool_to_lower_max_size_of_merge'
);

select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.settings)  where name in (
'background_pool_size'
);
Received exception from server (version 19.15.4):
Code: 46. DB::Exception: Received from localhost:9000. DB::Exception: Unknown table function clusterAllReplicas.

0 rows in set. Elapsed: 0.020 sec.
Видимо, нужно обновляться
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
фигня какая-то, ищите аномалии в мониторинге тогда...
ну и сравните конфиги нодов на всякий
select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.merge_tree_settings)  where name in (
'number_of_free_entries_in_pool_to_lower_max_size_of_merge'
);

select hostName() host, name, value, changed from clusterAllReplicas('clustername', system.settings)  where name in (
'background_pool_size'
);
'number_of_free_entries_in_pool_to_lower_max_size_of_merge'=8 , не менялось,
'background_pool_size' = 40, менялось
на всех 3х
источник

N

Nikita in ClickHouse не тормозит
это я туплю или параметры не работают в подзапросах внутри WITH ?
% clickhouse-client --param_paramName="hello" -q "with subquery as (select {paramName:String}) select * from subquery"
Received exception from server (version 21.1.2):
Code: 456. DB::Exception: Received from localhost:9000. DB::Exception: Query parameter `paramName` was not set.
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Всем привет, конфигурирую ACL и возник вопрос, в документации написано, что если указываем GRANT SELECT ON *  TO X,  то доступ будет только ко всем таблицам текущей БД, получается меняя текущую БД в запросе можно получить доступ ко всем таблицам? Как тогда ограничить пользователю доступ к конкретным  БД, или указать   БД которую использовать и запретить USE? Пробовал через SETTINGS но не нашел подходящего параметра.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nikita
это я туплю или параметры не работают в подзапросах внутри WITH ?
% clickhouse-client --param_paramName="hello" -q "with subquery as (select {paramName:String}) select * from subquery"
Received exception from server (version 21.1.2):
Code: 456. DB::Exception: Received from localhost:9000. DB::Exception: Query parameter `paramName` was not set.
скорее всего не работают. Параметры ненужный ребенок.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Shcherbakov
Всем привет, конфигурирую ACL и возник вопрос, в документации написано, что если указываем GRANT SELECT ON *  TO X,  то доступ будет только ко всем таблицам текущей БД, получается меняя текущую БД в запросе можно получить доступ ко всем таблицам? Как тогда ограничить пользователю доступ к конкретным  БД, или указать   БД которую использовать и запретить USE? Пробовал через SETTINGS но не нашел подходящего параметра.
по умолчанию у пользователей нету доступа к таблицам (у тех пользователей что create user)
источник

N

Nikita in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
скорее всего не работают. Параметры ненужный ребенок.
а как быть если он желанный? :) я бы их и в with бы прописал, но так же тоже не заведется with 'a' as param1, 'b' as param2, subquery as (select param1 || param2) select * from subquery :(
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nikita
а как быть если он желанный? :) я бы их и в with бы прописал, но так же тоже не заведется with 'a' as param1, 'b' as param2, subquery as (select param1 || param2) select * from subquery :(
нафига нужны параметры ? не было много лет, и всем было пофиг
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
по умолчанию у пользователей нету доступа к таблицам (у тех пользователей что create user)
это да, но  ON * дает на все таблицы текущей БД, или "текущая БД" это отдельная привелегия для USE ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Shcherbakov
это да, но  ON * дает на все таблицы текущей БД, или "текущая БД" это отдельная привелегия для USE ?
текущая это где грантующий прямо сейчас
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
текущая это где грантующий прямо сейчас
теперь понятно, спасибо
источник

N

Nikita in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нафига нужны параметры ? не было много лет, и всем было пофиг
лично мой юскейз - выполняю запрос из консоли, и хочется передавать дату параметром, что бы не изменять сам файл с запросом
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Received exception from server (version 19.15.4):
Code: 46. DB::Exception: Received from localhost:9000. DB::Exception: Unknown table function clusterAllReplicas.

0 rows in set. Elapsed: 0.020 sec.
Видимо, нужно обновляться
может просто версия старая...
источник

VM

Vadim Metikov in ClickHouse не тормозит
Dj
может просто версия старая...
Да,  попробуем обновить,  странно,  что работало пару лет и за день сломалось.  Спасибо
источник