Size: a a a

ClickHouse не тормозит

2021 January 18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
KirillReal
Добрый день, а если я хочу потоково читать из двух кафок с разными топиками, можно это как-то сделать?

я пробывал вот так, вбить адреса кафок и задать названия топиков:

create table test_kafka (
id UInt64
) ENGINE = Kafka('kafka-1:9092’, ’kafka-2:9092’ , ‘topic_1, topic_2', 'group1', 'JSONEachRow’);

но так не работает 🙁
Кажется, потому что в kafka-1 нет topic_2 и в kafka-2 нет topic_1

Делаю такой вывод, так как по отдельности все работает:

create table test_kafka (
id UInt64
) ENGINE = Kafka('kafka-1:9092’,  ‘topic_1', 'group1', 'JSONEachRow’);

create table test_kafka (
id UInt64
) ENGINE = Kafka(‘kafka-2:9092’,  ‘topic_2', 'group1', 'JSONEachRow’);
можно записывать результат в одну таблицу , читать конечно через 2 ENGINE = Kafka(
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
sum(imps) as imps

имена полей в select и MV должны совпадать
Посмотрел доклад, хорошо. Много знал, но есть и новые фишки. Счас потыкаю базу. Спасибо!
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Вот кстати вопрос. Что лучше (быстрее-проще-дешевле)  Сразу инсертить в суммари таблицу или инсертить в движок нулл, а с него в суммари мат.Вью?
Вроде как через null представляется лучше - сразу пойдет групировка и не надо "схлопывать" потом. Или это увеличивает стоимость инсертов и они у меня в очередь выстроятся из-за группировки?
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Опубликован changelog для релиза 21.1:
https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md
источник

AS

Alexey Shcherbakov in ClickHouse не тормозит
🔥 теперь можно реализовать более эффективные клиенты/адаптеры, используя gRPC
источник

AS

Alexey Skakun in ClickHouse не тормозит
Вячеслав Владимиров
Посмотрел доклад, хорошо. Много знал, но есть и новые фишки. Счас потыкаю базу. Спасибо!
Подскажите пожалуйста, про какой докдад речь?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Skakun
Подскажите пожалуйста, про какой докдад речь?
источник

AS

Alexey Skakun in ClickHouse не тормозит
Спасибо большое
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
Хаюшке всем, докинули пару дисков в рейд на пару терабайт, участились мерджи и начали отставать периодически реплики. Я подозреваю что надо просто какие то настройки подтюнить, но не уверен какие конекретно. Сталкивался кто?
ребилд рейда закончился?
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Закончился. Я ещё пару особенностей заметил в логах, сейчас скину
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
2021.01.18 00:00:00.943698 [ 3531 ] {} <Error> default.visits_local: DB::BackgroundProcessingPoolTaskResult DB::StorageReplicatedMergeTree::queueTask(): std::exception. Code: 1001, type: fmt::v7::format_error, e.what() = argument not found, Stack trace (when copying this message, always include the lines below):

Таких сообщений тьма в логах. При чем появляются как по крону, хотя, конечно, никакого крона или прочих сервисов отродясь не было и нет
sudo cat /opt/clickhouse/log/clickhouse-server.log | grep "BackgroundProcessingPoolTaskResult" | cut -d ' ' -f1-2 | sed 's/:[0-9]*:[0-9]*.[0-9]*$//g' | uniq -c
 11054 2021.01.10 00
  7809 2021.01.11 00
  1817 2021.01.12 00
  5097 2021.01.13 00
 16041 2021.01.14 00
 18263 2021.01.15 00
    20 2021.01.15 04
     2 2021.01.15 12
   781 2021.01.16 00
  1376 2021.01.16 04
    98 2021.01.16 08
  2714 2021.01.17 00
  2103 2021.01.17 04
  1331 2021.01.17 08
 13686 2021.01.18 00
   531 2021.01.18 04
   262 2021.01.18 08

Ровно в 00 часов, 4'ый час и 8'ой
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
2021.01.18 00:00:00.943698 [ 3531 ] {} <Error> default.visits_local: DB::BackgroundProcessingPoolTaskResult DB::StorageReplicatedMergeTree::queueTask(): std::exception. Code: 1001, type: fmt::v7::format_error, e.what() = argument not found, Stack trace (when copying this message, always include the lines below):

Таких сообщений тьма в логах. При чем появляются как по крону, хотя, конечно, никакого крона или прочих сервисов отродясь не было и нет
sudo cat /opt/clickhouse/log/clickhouse-server.log | grep "BackgroundProcessingPoolTaskResult" | cut -d ' ' -f1-2 | sed 's/:[0-9]*:[0-9]*.[0-9]*$//g' | uniq -c
 11054 2021.01.10 00
  7809 2021.01.11 00
  1817 2021.01.12 00
  5097 2021.01.13 00
 16041 2021.01.14 00
 18263 2021.01.15 00
    20 2021.01.15 04
     2 2021.01.15 12
   781 2021.01.16 00
  1376 2021.01.16 04
    98 2021.01.16 08
  2714 2021.01.17 00
  2103 2021.01.17 04
  1331 2021.01.17 08
 13686 2021.01.18 00
   531 2021.01.18 04
   262 2021.01.18 08

Ровно в 00 часов, 4'ый час и 8'ой
это ничего не значит, мелкий баг

https://github.com/ClickHouse/ClickHouse/issues/17613
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Отставание стали происходить тоже только ночью в 12 по utc. Но потом спустя пол часика разгребание replicas_queue разгребается и всё становится нормально
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Одним легче. Но мы всё равно запланировали обновление до 21 завтра
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
Отставание стали происходить тоже только ночью в 12 по utc. Но потом спустя пол часика разгребание replicas_queue разгребается и всё становится нормально
какая версия сейчас?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
Одним легче. Но мы всё равно запланировали обновление до 21 завтра
жесть, стальные даже алмазные яйцы
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
┌─version()─┐
│ 20.11.3.3 │
└───────────┘
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Скорее сильное желание чинить кластер ночью
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
┌─version()─┐
│ 20.11.3.3 │
└───────────┘
ну и обнавляйтсь до 20.11.6.6
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Оке, в любом случае отпишу помогло или нет, буду копать дальше
источник