ВВ
жесть
Size: a a a
2021 March 03
ВВ
"писатель" один?
Ф
да
VB
может глянуть еще system.query_log - может наведет на мысль какую. там и время выполнения и по памяти и по строкам и profileevents.names есть может по ним что-то понять можно?
ВВ
ради эксперимента - можно создать аналог таблицу с движком null - и проерить на ней. Это исключит дисковую систему
ВВ
так проверите сетку и с#
ИМ
Может приложение на самом деле отправило не 20к записей? Сделать count() после вставки
RV
Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с агрегатами?
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
D
Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с агрегатами?
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
ну в среднем случае ускоряет. (select sum(col) from distrtable).
а если у вас аггрегат типа median, groupArray - который имеет гигантский стейт - замедлит.
если у вас подзапросы возвращают все строки (только фильтруют чуток без аггрегаций) - замедлит, так как результат шлется на инициатор
и ещё много разных "если" может быть
а если у вас аггрегат типа median, groupArray - который имеет гигантский стейт - замедлит.
если у вас подзапросы возвращают все строки (только фильтруют чуток без аггрегаций) - замедлит, так как результат шлется на инициатор
и ещё много разных "если" может быть
RV
ну в среднем случае ускоряет. (select sum(col) from distrtable).
а если у вас аггрегат типа median, groupArray - который имеет гигантский стейт - замедлит.
если у вас подзапросы возвращают все строки (только фильтруют чуток без аггрегаций) - замедлит, так как результат шлется на инициатор
и ещё много разных "если" может быть
а если у вас аггрегат типа median, groupArray - который имеет гигантский стейт - замедлит.
если у вас подзапросы возвращают все строки (только фильтруют чуток без аггрегаций) - замедлит, так как результат шлется на инициатор
и ещё много разных "если" может быть
Большое спасибо. В моём случае очень много argMax по дате-времени действия с ключом на ~20 столбцов.
D
ок, тогда если высокий distinct count возвращаемых данных - у вас они все в конце пересылаются на инициатор и дальше там ещё раз финальный argMax применяется... если данные точно разбросаны по шардам и нет пересечения ключей группировки можете попробовать как
select .... group by ...
SETTINGS distributed_group_by_no_merge=1
E
📌
День добрый.
Ищем инженера на ведение несложно проекта
Из сложного только кликхаус)
Порядка 8 микросервисов
1200р/час 4-6 часов в неделю, иногда недели без задач.
День добрый.
Ищем инженера на ведение несложно проекта
Из сложного только кликхаус)
Порядка 8 микросервисов
1200р/час 4-6 часов в неделю, иногда недели без задач.
DT
Привет! Подскажите, пожалуйста, может ли шардирование ускорять тяжёлый запрос с агрегатами?
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
Контекст: в официальной документации YC указано, что шардирование ускоряет выполнение запросов. Однако вместо кратного ускорения на боевых данных я получил только 10% для 2-х шардов.
вы шардировали по какому ключу?
RV
вы шардировали по какому ключу?
Хороший вопрос, спасибо. Тоже проверю.
DT
Хороший вопрос, спасибо. Тоже проверю.
Обычно хороший результат дает шардирование по высоко кардинальному ключу из GROUP BY
в таком случае на каждом шарде стейт будет меньше в N (число шардов) раз, те быстрее
в таком случае на каждом шарде стейт будет меньше в N (число шардов) раз, те быстрее
G
ClickHouse/ClickHouse description changed: v20.8.14.4-lts
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.8.14.4-lts
Release notes:
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.8.14.4-lts
Release notes:
ClickHouse lts release v20.8.14.4-lts
AK
Подскажите, пожалуйста, такая проблема:
КХ перестал реагировать на запросы
Любой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
КХ перестал реагировать на запросы
on cluster. Каждый хост в отдельности работает нормально, если создавать по-отдельности таблицы, например, то все прекрасно работает - таблица создается и пути в зукипере создаютсяЛюбой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
DT
Подскажите, пожалуйста, такая проблема:
КХ перестал реагировать на запросы
Любой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
КХ перестал реагировать на запросы
on cluster. Каждый хост в отдельности работает нормально, если создавать по-отдельности таблицы, например, то все прекрасно работает - таблица создается и пути в зукипере создаютсяЛюбой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
SELECT * FROM system.clusters;
кликхаус узнает себя?(is_local должно быть 1) в вашем кластере
кликхаус узнает себя?(is_local должно быть 1) в вашем кластере
AK
SELECT * FROM system.clusters;
кликхаус узнает себя?(is_local должно быть 1) в вашем кластере
кликхаус узнает себя?(is_local должно быть 1) в вашем кластере
Да, узнает
DC
Подскажите, пожалуйста, такая проблема:
КХ перестал реагировать на запросы
Любой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
КХ перестал реагировать на запросы
on cluster. Каждый хост в отдельности работает нормально, если создавать по-отдельности таблицы, например, то все прекрасно работает - таблица создается и пути в зукипере создаютсяЛюбой запрос on cluster виснет и не выполняется даже локально.
ошибок в логе не вижу. Куда смотреть?
там возможно застрял какой-то запрос
Есть таблица system.distributed_ddl_queue ?
в логах КХ должно быть тоже видно
Есть таблица system.distributed_ddl_queue ?
в логах КХ должно быть тоже видно