Size: a a a

ClickHouse не тормозит

2021 March 12

M

Mishanya in ClickHouse не тормозит
Константин Руденок
Всем привет, не было ни у кого проблем со стримингом данных Kafka -> CH (если это может влиять, то вариант облачного развертывания и того, и другого в Я)
Почему-то не хочет очередь видеть сообщения в топике, хотя они там есть.
В логах только предупреждения Parsing of message return no rows.
если вы пересоздавали консьюмер и данные больше не поступают, то укажите другую консьюмер группу, тк оффсет в ней хранится
источник

КР

Константин Руденок... in ClickHouse не тормозит
да это понятно, каждый раз пересоздаем
источник

КР

Константин Руденок... in ClickHouse не тормозит
Причем мы и группу каждый раз новую указываем, и на всякий случай новую порцию сообщений дописываем, чтобы перестраховаться.
Но все равно при создании очереди селект пустой выходит, ну и в логах аналогичная ошибка.
источник

M

Mishanya in ClickHouse не тормозит
-> пустой селект выходит
а что вы делаете ?
источник

КР

Константин Руденок... in ClickHouse не тормозит
create table kafka_queue (...) engine = Kafka() SETTINGS ...;
select * from kafka_queue;
источник

КР

Константин Руденок... in ClickHouse не тормозит
Пока не материализуем в таблицы, так как отладочный этап
источник

КР

Константин Руденок... in ClickHouse не тормозит
По идее каждый селект должен возвращать сообщения из топика после последнего коммита
источник

M

Mishanya in ClickHouse не тормозит
ну вроде как эта таблица не хранит данные, это скорее просто стриминг
источник

M

Mishanya in ClickHouse не тормозит
добавьте MV и таблицу куда складывать данные
источник

КР

Константин Руденок... in ClickHouse не тормозит
ну зачем на дебаге плодить таблицы, очередь как раз нужна для такого отладочного чтения
источник

КР

Константин Руденок... in ClickHouse не тормозит
в общем, разобрались, спасибо)
источник

I

Igor in ClickHouse не тормозит
Всем привет! А может ли кто-то сказать, что за движок использовался для документации на кликхаус?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Igor
Всем привет! А может ли кто-то сказать, что за движок использовался для документации на кликхаус?
источник

SC

Sergey Churin in ClickHouse не тормозит
-_-
Выкрутился, добавив вначале точку, так определилось однозначно строкой, но это костыль
Графана типа умная и тип сама заменяет. Можно попробовать так: ${variable:singlequote} (или какой-нибудь еще вариант отсюда: https://grafana.com/docs/grafana/latest/variables/advanced-variable-format-options/). Но может зависеть от версии графаны и datasource плагина КХ. У меня даже принудительно кавычки не ставило, пришлось тоже костылить и дополнить значения списка однозначно строковым значением. Как вариант все значения списка изначально в кавычках выводить.
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Всем привет, я тут совсем новенький.
Есть задача загнать .csv.gz в КХ. В колонках есть домены, массивы доменов, IPv4, строки и числа. Некоторые строки и массивы могут быть пустыми. Можно ли одним запросом загнать весь файл в табличку?
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
И какой тип данных лучше для доменов использовать?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
Всем привет, я тут совсем новенький.
Есть задача загнать .csv.gz в КХ. В колонках есть домены, массивы доменов, IPv4, строки и числа. Некоторые строки и массивы могут быть пустыми. Можно ли одним запросом загнать весь файл в табличку?
можно, но у КХ есть требования к оформлению массивов с csv
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Александр Филиппенко
И какой тип данных лучше для доменов использовать?
String , а что есть варианты?
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
можно, но у КХ есть требования к оформлению массивов с csv
там просто через запятую
источник

АФ

Александр Филиппенко... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
String , а что есть варианты?
мало ли, вдруг есть специальный тип, урлы там очень часто хранят же
источник