Телеграмм чат группы clickhouse

2021 March 10

D

Dj in ClickHouse не тормозит

Sharif

во что скорее всего будет упираться кликхаус если делать много параллельных запросов с FINAL?

во что угодно.
зависит от того во что упирается один FINAL

источник

13:51пожаловаться #1

VS

Vladyslav Sakun in ClickHouse не тормозит

Alexey Sokolov

Кстати, пара вопросов к тем, кто использует kafka-engine в качестве источника данных. Поделитесь опытом, пожалуйста.

1. Какие объёмы данных вы вычитываете таким образом?
У меня есть несколько десятков топиков по 100000 записей в секунду (в районе 27мб пачка) каждый, сейчас они пишутся в КХ приложением. Движок с MV будет успевать их вычитывать?
2. Если потребуется наращивать скорость, то как оно масштабируется?

Где-то в чате писали, что до 300к спокойно может вычитывать.
По масштабированию консьюмеры прийдётся докидать, но опять же это всё равно имеет какой-то предел

источник

13:51пожаловаться #2

AS

Alexey Sokolov in ClickHouse не тормозит

Vladyslav Sakun

Где-то в чате писали, что до 300к спокойно может вычитывать.
По масштабированию консьюмеры прийдётся докидать, но опять же это всё равно имеет какой-то предел

До 300к один kafka-engine?

источник

13:53пожаловаться #3

VS

Vladyslav Sakun in ClickHouse не тормозит

Alexey Sokolov

До 300к один kafka-engine?

https://altinity.com/blog/clickhouse-kafka-engine-faq

ClickHouse Software And Services | Altinity

ClickHouse Kafka Engine FAQ

источник

13:56пожаловаться #4

AS

Alexey Sokolov in ClickHouse не тормозит

Vladyslav Sakun

https://altinity.com/blog/clickhouse-kafka-engine-faq

ClickHouse Software And Services | Altinity

ClickHouse Kafka Engine FAQ

Спасибо!

источник

13:56пожаловаться #5

M

Mishanya in ClickHouse не тормозит

здравствуйте

подскажите, у меня есть запрос вида select columns from (select * from t1) any left join t2
когда выставляю log level = debug, то там вообще нет информации о джоине

где ее увидеть можно ?

источник

14:02пожаловаться #6

S

Sharif in ClickHouse не тормозит

Dj

во что угодно.
зависит от того во что упирается один FINAL

а как можно попрофилировать запрос и понять во что он упирается

источник

14:06пожаловаться #7

SB

Serge Bash in ClickHouse не тормозит

В директории distributed таблицы на диске у нас понемногу копятся данные в пошардовых директориях с префиксом replicator: — при этом какой-то очереди на репликацию нет. Это как вообще и что это за данные?

источник

14:13пожаловаться #8

VB

Vladimir Bunchuk in ClickHouse не тормозит

Alexey Sokolov

Кстати, пара вопросов к тем, кто использует kafka-engine в качестве источника данных. Поделитесь опытом, пожалуйста.

1. Какие объёмы данных вы вычитываете таким образом?
У меня есть несколько десятков топиков по 100000 записей в секунду (в районе 27мб пачка) каждый, сейчас они пишутся в КХ приложением. Движок с MV будет успевать их вычитывать?
2. Если потребуется наращивать скорость, то как оно масштабируется?

запустил у себя metric_log
вот кол-во данных, которые пишем из кафки

источник

14:24пожаловаться #9

VS

Vladyslav Sakun in ClickHouse не тормозит

Vladimir Bunchuk

запустил у себя metric_log
вот кол-во данных, которые пишем из кафки

С логами очень внимательно, не успеешь оглянуться, а у тебя уже места на диске нет.
Дропай их по TTL

источник

14:29пожаловаться #10

VB

Vladimir Bunchuk in ClickHouse не тормозит

Vladyslav Sakun

С логами очень внимательно, не успеешь оглянуться, а у тебя уже места на диске нет.
Дропай их по TTL

принял
спасибо ))

источник

14:30пожаловаться #11

AS

Alexey Sokolov in ClickHouse не тормозит

Vladimir Bunchuk

запустил у себя metric_log
вот кол-во данных, которые пишем из кафки

О! Спасибо.

источник

14:33пожаловаться #12

S

Slach in ClickHouse не тормозит

Vladimir Bunchuk

Спасибо, все получилось.
А что посоветуете чтобы мониторить отдельные таблички?
Была мысль сделать кафка-табличку с отдельным топиком для логов вставок и писать в нее через матвью кол-во вставок по таблицам
а уже в каком-то другом кликхаусе оттдуда читать данные. Как вы считаете, такой подход имеет местоо быть?

вам надо прямо вот потаблично собирать?

SELECT database, name, total_rows FROM system.tables

вот это мониторьте куда нибудь по cron

источник

14:34пожаловаться #13

S

Slach in ClickHouse не тормозит

Влад

Всем привет!

Видел что уже сталкивались с разными segfault.
На одном узле, во время рестарта clickhouse-server возник и у меня. И теперь никак не хочет стартовать.
Но не могу найти проблем. В dmesg ничего, в event логе iDRAC тоже пусто.

Может кто-то сталкивался с этим segfault?

<Fatal> BaseDaemon: ########################################
<Fatal> BaseDaemon: (version 21.1.6.13 (official build), build id: 896DF0AF4B2C9E1BEE4965CB71D7D71CB7C64C10) (from thread 3219904) (no query) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
<Fatal> BaseDaemon: Stack trace: 0x87a835d 0x7f8d408923c0
<Fatal> BaseDaemon: 0. ? @ 0x87a835d in /usr/bin/clickhouse
<Fatal> BaseDaemon: 1. ? @ 0x153c0 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
<Fatal> BaseDaemon: Checksum of the binary: C68C343B82ED45C8357E8A61A37FE0DC, integrity check passed.

слишком короткий stack trace, непонятно ничего

clickhouse обновлять разве что

источник

14:36пожаловаться #14

S

Slach in ClickHouse не тормозит

Demetra Nadya

image.png

(9.19 Кб)

sudo -H -u clickhouse ./clickhouse-backup --help

источник

14:37пожаловаться #15

В

Влад in ClickHouse не тормозит

Slach

слишком короткий stack trace, непонятно ничего

clickhouse обновлять разве что

Вот тоже не очень много понял из этого stack trace.
Надеюсь что в будущих 21.1 поправится. Либо найдется в чем же затыка. Если что буду на следющие переползать.
Спасибо

источник

14:39пожаловаться #16

AK

Alexey Kh in ClickHouse не тормозит

Привет,
А есть какой-нибудь адекватный способ считать длительности цепочек событий?
Допустим, есть у меня таблица

(ts, session_id, event (START/SOMETHING/END))

и я хочу посчитать среднюю по больнице (среднее время между START-END внутри одной сессии, например)

есть ли какой-нибудь изящный способ это сделать? пока думал над следующими вариантами:
* запилить адовую аггрегацию с array-функциями и group by csid - не хватает оперативки
* запилить SummingMergeTree (csid, ts_buffer, counter), по событию START вставлять туда (csid, ts, 1), по событию END вставлять туда (csid, -ts, 1). Вроде должно работать очень быстро, но тут не ясно, что делать, когда counter%2!=0 (придется отбрасывать все данные, даже если там какие-то другие есть)

источник

15:19пожаловаться #17

D

Dj in ClickHouse не тормозит

Sharif

а как можно попрофилировать запрос и понять во что он упирается

1) Запустить с трейсом смотреть что делает
2) смотреть параллельно в tracelog
3) смотреть в system.trace_log + https://github.com/Slach/clickhouse-flamegraph

источник

15:35пожаловаться #18

TT

Taika Tytto in ClickHouse не тормозит

Добрый день

Клик поддерживает map в авро схемах? В документации написано, что нет, но злые языки говорят что это не точно.

источник

15:40пожаловаться #19

I

Ivan in ClickHouse не тормозит

подскажите пожалуйста:

деплою в куб оператор кликхауса в один неймспейс, само описание кластера - в другой.
не поднимается :(

если все в одном неймспейсе - все ок.

вижу что в операторе как будто есть переменная WATCH_NAMESPACES, но как повлиять на нее - не знаю

источник

16:43пожаловаться #20