Size: a a a

ClickHouse не тормозит

2020 July 08

A

Andrey in ClickHouse не тормозит
Подскажите, вопрос по настройке insert_quorum - при миграции БД с 20.3 на 20.5 clickhouse выдал сообщение о том, что настройку insert_quorum правильно устанавливать в профайле пользователя.  У меня практически все данные приходят в clickhouse из kafka - мне нужно установить её для профиля пользователя default ?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, вопрос по движку Kafka.
Как много таблиц с движком Kafka вы создавали и на какой объем данных?
Читал что если их будет слишком много, то могут быть таймауты
источник

SB

Sergey Borisenko in ClickHouse не тормозит
Всем привет! Подскажите, что за ерунда со временем и часовым поясом? Как правильно с ним работать, у нас на разных клиентах отображается разное значение (со смещением на часовой пояс)
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Andrey
Подскажите, вопрос по настройке insert_quorum - при миграции БД с 20.3 на 20.5 clickhouse выдал сообщение о том, что настройку insert_quorum правильно устанавливать в профайле пользователя.  У меня практически все данные приходят в clickhouse из kafka - мне нужно установить её для профиля пользователя default ?
Имхо лучше для каждого поставщика делать своего пользователя со своим профилем. Из минусов - много пользователей, из плюсов - гибкие настройки под каждого пользователя которые не афектят остальных.
источник

A

Andrey in ClickHouse не тормозит
Евгений Гордеев
Имхо лучше для каждого поставщика делать своего пользователя со своим профилем. Из минусов - много пользователей, из плюсов - гибкие настройки под каждого пользователя которые не афектят остальных.
я же при создании Kafka таблицы и MatVew нигде не указываю пользователя
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Andrey
я же при создании Kafka таблицы и MatVew нигде не указываю пользователя
Да, я спорол фигню. Интересный вопрос в самом деле. Я не знаю :)
источник

AS

Aleh Sauko in ClickHouse не тормозит
Всем привет, кто-нибудь пользовался grafana alerts для кх (уже вроде как поддерживает)?
Можно как-то победить, что когда на графике ресуется несколько линий (т.е с group by), то алерты не работают и кидают ошибку, тк походу пытаются парсить лэйблы к флоату:

query:

SELECT
   $timeSeries as t,
   splitByChar('?', host)[1] as h,
   quantile(0.95)(request_time) > max(upper_bound) as anomaly
FROM $table
WHERE $timeFilter and status = 200 and (host like '%/client-area/%' or host like '%/private-area/%' or host like '%/landing/%')
GROUP BY t, h
HAVING anomaly = 1
ORDER BY t, h

log:

"tsdb.HandleRequest() error rpc error: code = Unknown desc = unable to parse value /client-area/registration/route/UPLOAD for 'h': strconv.ParseFloat: parsing "/client-area/registration/route/UPLOAD": invalid syntax"
источник

D

Dmutruu in ClickHouse не тормозит
всем привет, а что за такой формат данных FixedString(32)
источник

D

Dmutruu in ClickHouse не тормозит
у меня ошибка DB::Exception: Type mismatch of columns to JOIN by: idhash String at left, idhash FixedString(32) at right (version 20.4.6.53 (official build))
источник

D

Dmutruu in ClickHouse не тормозит
как его прописывать
источник

D

Dj in ClickHouse не тормозит
Dmutruu
у меня ошибка DB::Exception: Type mismatch of columns to JOIN by: idhash String at left, idhash FixedString(32) at right (version 20.4.6.53 (official build))
кастинг - toString(myFixedStringColmn) должно сработать
источник

D

Dj in ClickHouse не тормозит
Dmutruu
всем привет, а что за такой формат данных FixedString(32)
эт как CHAR(xx) во многих базах.
источник

AE

Alexey Er in ClickHouse не тормозит
Я правильно понимаю, что Зукипер средства балансировки не предоставляет? Т.е. для отказоустойчивости приложение должно либо уметь перебирать сервера КХ по списку, либо работать через некий прокси.
источник

ДУ

Денис Устинов... in ClickHouse не тормозит
если у тебя используется http интерфейс, то haproxy или nginx подойдет
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Alexey Er
Я правильно понимаю, что Зукипер средства балансировки не предоставляет? Т.е. для отказоустойчивости приложение должно либо уметь перебирать сервера КХ по списку, либо работать через некий прокси.
Именно так. Зукипер используется как хранилище метаданных для репликейтед таблиц. И больше никак, насколько я знаю.
источник

AE

Alexey Er in ClickHouse не тормозит
Спасибо, будем балансить на-стороне..
источник

IR

Igor Reva in ClickHouse не тормозит
Подскажите, пожалуйста, в Я.Метрике визиты считаются на уровне КХ?
Если да то какие используется инструменты, конкретно для объединения просмотров в визиты?

Под визитами понимается объединение нескольких просмотров, совершённых одним пользователем. Визит заканчивается, когда в течение 30 минут от посетителя не поступает новых событий.
источник

AE

Alexey Er in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
этот шард!!!!!!!! есть локально на данной ноде

да, т.е. если есть кластер из 10 нод и ноды реплики одного шарда ( ReplicationFactor=10 ), то is_local =1 у всех 10 записейт будет
А если, наоборот, is_local=0 для обеих реплик (с одной из которых через подключение к одной из которых родным клиентом и делается запрос)?
Т.е. она не осознаёт себя в этом списке; в host_name и host_address внешние IP. Это повод для беспокойства?
источник

S

Slach in ClickHouse не тормозит
Aleh Sauko
Всем привет, кто-нибудь пользовался grafana alerts для кх (уже вроде как поддерживает)?
Можно как-то победить, что когда на графике ресуется несколько линий (т.е с group by), то алерты не работают и кидают ошибку, тк походу пытаются парсить лэйблы к флоату:

query:

SELECT
   $timeSeries as t,
   splitByChar('?', host)[1] as h,
   quantile(0.95)(request_time) > max(upper_bound) as anomaly
FROM $table
WHERE $timeFilter and status = 200 and (host like '%/client-area/%' or host like '%/private-area/%' or host like '%/landing/%')
GROUP BY t, h
HAVING anomaly = 1
ORDER BY t, h

log:

"tsdb.HandleRequest() error rpc error: code = Unknown desc = unable to parse value /client-area/registration/route/UPLOAD for 'h': strconv.ParseFloat: parsing "/client-area/registration/route/UPLOAD": invalid syntax"
а сделайте пожалуйста ISSUE на https://github.com/Vertamedia/clickhouse-grafana/issues - я поправлю
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Slach
13TB точно НЕ НАДО вы будете полностью вычитывать это 13 терабайт и часть еще от них потом еще и писать
сделайте KILL QUERY на ваш заброс
Нельзя отменить мерж килом и таймауты на optimize не дейсвуют
источник