Телеграмм чат группы clickhouse

2020 September 03

S

Подскажите пожалуйста, можно ли кастануть Array(String) к json?
Каст к String возвращает одинарные кавычки, вместо двойных

делайте на стороне приложения
ну либо вызывайте

clickhouse-client -q "SELECT arrField FROM table FORMAT JSON" | jq .Data.arrField

и тут я забыл какие флаги позволяют кавычки убрать в jq

источник

15:34пожаловаться #1

SI

Sergei Iamskoi in ClickHouse не тормозит

Ребят, помогите с CH + kafka. В очередь закинул 4830 сообщений, а CH достал 4430. Какими инструментами разобраться, куда он остальные потерял? В логах ошибок нет. Тестовые данные, и таблицы. CH в виде кластера

источник

15:39пожаловаться #2

В

Виталий in ClickHouse не тормозит

Sergei Iamskoi

Ребят, помогите с CH + kafka. В очередь закинул 4830 сообщений, а CH достал 4430. Какими инструментами разобраться, куда он остальные потерял? В логах ошибок нет. Тестовые данные, и таблицы. CH в виде кластера

А в саму Кафку закоммитились все сообщения? Или там висит лаг из этих 400 сообщений?

источник

15:52пожаловаться #3

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Митя

Подскажите пожалуйста, можно ли кастануть Array(String) к json?
Каст к String возвращает одинарные кавычки, вместо двойных

SELECT
formatRow('JSONEachRow', a) AS x,
100 AS b
FROM
(
SELECT ['1', '2', '3', '4', 'aaa'] AS a
)

┌─x─────────────────────────────┬───b─┐
│ {"a":["1","2","3","4","aaa"]}
│ 100 │
└───────────────────────────────┴─────┘

источник

15:53пожаловаться #4

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Sergei Iamskoi

Ребят, помогите с CH + kafka. В очередь закинул 4830 сообщений, а CH достал 4430. Какими инструментами разобраться, куда он остальные потерял? В логах ошибок нет. Тестовые данные, и таблицы. CH в виде кластера

версия КХ ?

источник

15:54пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Vladyslav Sakun

Добрый день!
Есть вопрос по внешним словарям.
В проекте внешние словари подключаются из MySQL.
Словари создаются через запрос CREATE DICTIONARY... SOURCE(MYSQL(replica(host '127.0.0.1')))
На продакшине у MySQL есть мастер и слейв.
Если упадёт мастер, то на его место встанет слейв и уже будет мастером со своим IP.
И чтобы словари в кликхаузе были актуальными в моём случае придётся пересоздавать словари с новым хостом.
Если при создании словаря задать 2 хоста
CREATE DICTIONARY... SOURCE(MYSQL(replica(host '127.0.0.1') replica(host '127.0.0.2')))
это решит проблему? Или может кто подскажет как это сделать правильно?

да, replica именно для этого

источник

15:54пожаловаться #6

VS

Vladyslav Sakun in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

да, replica именно для этого

Спасибо

источник

15:55пожаловаться #7

SI

Sergei Iamskoi in ClickHouse не тормозит

Виталий

А в саму Кафку закоммитились все сообщения? Или там висит лаг из этих 400 сообщений?

Судя по тому что продюсер отвечал что закомитил, и не было от него ошибок - они там должны быть. Возможно, CH читает только по достяжению определенного кол-ва сообщений в очереди, но я не нашел такой параметр.

источник

15:55пожаловаться #8

SI

Sergei Iamskoi in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

версия КХ ?

ClickHouse 20.6.4.44 with revision 54436

источник

15:55пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Vladyslav Sakun

Спасибо

только через запятую вроде, replica(), replica()

источник

15:55пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Sergei Iamskoi

Судя по тому что продюсер отвечал что закомитил, и не было от него ошибок - они там должны быть. Возможно, CH читает только по достяжению определенного кол-ва сообщений в очереди, но я не нашел такой параметр.

возможно

<fetch_min_bytes>100000</fetch_min_bytes>, но не знаю сколько он по дефолту

источник

15:58пожаловаться #11

SI

Sergei Iamskoi in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

возможно

<fetch_min_bytes>100000</fetch_min_bytes>, но не знаю сколько он по дефолту

Благодарю, сейчас попробую вместе с fetch.wait.max.ms - появятся ли сообщения.

источник

16:04пожаловаться #12

VS

Vladyslav Sakun in ClickHouse не тормозит

Sergei Iamskoi

Всем привет! Не получается осилить clickhouse + kafka + protobuf. С json вроде все ок получается, а с прото не выходит. Получаю в логах бесконечную ошибку "<Warning> StorageKafka (queue): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.". Причем независомо есть данные в очереди или нет. Ну и сами данные не пишутся. Вторые сутки уже ковыряюсь с этим. Может, кто помочь\подсказать? Тестовые запросы, на которых пробую завести это дело:

В чём была проблема?

источник

16:13пожаловаться #13

SI

Sergei Iamskoi in ClickHouse не тормозит

Vladyslav Sakun

В чём была проблема?

Там несколько проблем было. Если создать таблицу queue, а потом прочитать из нее, то далее materialized view работать не будет с этим топиком. Хз что за баг такой. Просто перестает читать. Далее надо было праильно указать delimiter-length для продюсера. php-шная библиотека штатно это не умела делать. Надеюсь, сейчас получится добить потерянные сообщения и все наладиться

источник

16:17пожаловаться #14

v

vladamir in ClickHouse не тормозит

Всем привет! Есть поле в таблице, по которому хотим группировать и фильтровать по нему. Это поле - строка из 24 символа, есть ли большой смысл делать cityHash64() от этого поля и добавлять уже в индекс (ORDER BY) как раз хеш а не саму строку? Будет ли фильтрация или группировка быстрее по хешу?

источник

16:18пожаловаться #15

Е

Екатерина in ClickHouse не тормозит

здравствуйте, а подскажет ли мне кто-нибудь такое: вот, есть у нас реплицирующие таблицы и несколько реплик на каждый шард, а потом мы решили репликацию убрать, достаточно ли будет просто убрать реплики из конфига и перезапустить CH, реплицирующие таблицы будут также работать, просто уже каждая в единственном экземпляре, или будут проблемы?

источник

16:18пожаловаться #16

SI

Sergei Iamskoi in ClickHouse не тормозит

Vladyslav Sakun

В чём была проблема?

Но ворнинг так и не победил еще. Это похоже что с конфигом уже самой кафки связан.

источник

16:19пожаловаться #17

DT

Dmitry Titov in ClickHouse не тормозит

vladamir

Всем привет! Есть поле в таблице, по которому хотим группировать и фильтровать по нему. Это поле - строка из 24 символа, есть ли большой смысл делать cityHash64() от этого поля и добавлять уже в индекс (ORDER BY) как раз хеш а не саму строку? Будет ли фильтрация или группировка быстрее по хешу?

24 cимвола? не думаю, проще использовать как есть

источник

16:19пожаловаться #18

v

vladamir in ClickHouse не тормозит

Dmitry Titov

24 cимвола? не думаю, проще использовать как есть

ага, mongoID

источник

16:20пожаловаться #19

SI

Sergei Iamskoi in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

возможно

<fetch_min_bytes>100000</fetch_min_bytes>, но не знаю сколько он по дефолту

видать не в этом дело, снова из 2003 сообщений только 1463 приехало. Настройки поставил, что бы по истечению 1 секунды сбрасывал в таблицу в независимости от кол-ва байт.

<kafka_topic40>
    <retry_backoff_ms>1000</retry_backoff_ms>
    <fetch_min_bytes>1000</fetch_min_bytes>
    <fetch_wait_max_ms>1000</fetch_wait_max_ms>
</kafka_topic40>

источник

16:24пожаловаться #20