В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3942 membersпожаловаться на группу
2020 May 29

S

Slach in ClickHouse не тормозит
Rail
Скажите, кто как логирует и собирает метрики при взаимодействии КХ с кафкой c engine=Kafka, и какие инструменты используете?
больше всего интересуют ошибки при попытке записать данные в КХ, полученные из топиков кафки
https://www.altinity.com/blog/clickhouse-kafka-engine-faq

пока нету метрик в коде для Kafka Engine
Altinity
ClickHouse Kafka Engine FAQ — Altinity
May 4, 2020   Kafka is a popular way to stream data into ClickHouse. ClickHouse has a built-in connector for this purpose -- the  Kafka engine . Our friends from Cloudfare originally contributed this engine to ClickHouse. The Kafka engine has been reworked quite a lot since then and is now maintaine
источник
14:41пожаловаться#1

A

Argo in ClickHouse не тормозит
Коллеги, нужна помощь.
Сделал я мутацию на апдейт, и как я теперь уже понимаю, очень неоптимально.
Теперь кликхаус пытается эту мутацию применить, и для этого съедает всю оперативку, потом своп, потом просто все ложится.
Можно ли как-то удалить выполнение этой мутации (при погашенном кх, т.к. при поднятом это вообще невозможно)?
Ну или можно ли как-то ограничить использование памяти, чтобы он ее все-же закончил?
источник
14:59пожаловаться#2

S

Slach in ClickHouse не тормозит
Argo
Коллеги, нужна помощь.
Сделал я мутацию на апдейт, и как я теперь уже понимаю, очень неоптимально.
Теперь кликхаус пытается эту мутацию применить, и для этого съедает всю оперативку, потом своп, потом просто все ложится.
Можно ли как-то удалить выполнение этой мутации (при погашенном кх, т.к. при поднятом это вообще невозможно)?
Ну или можно ли как-то ограничить использование памяти, чтобы он ее все-же закончил?
https://clickhouse.tech/docs/ru/sql-reference/statements/misc/#kill-mutation-statement
clickhouse.tech
Прочие виды запросов - Документация ClickHouse
Прочие виды запросов ATTACH Запрос полностью аналогичен запросу CREATE, но: вместо слова CREATE используется слово ATTAC
источник
15:01пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Argo
Коллеги, нужна помощь.
Сделал я мутацию на апдейт, и как я теперь уже понимаю, очень неоптимально.
Теперь кликхаус пытается эту мутацию применить, и для этого съедает всю оперативку, потом своп, потом просто все ложится.
Можно ли как-то удалить выполнение этой мутации (при погашенном кх, т.к. при поднятом это вообще невозможно)?
Ну или можно ли как-то ограничить использование памяти, чтобы он ее все-же закончил?
Кх 20.1? Это исправили
источник
15:02пожаловаться#4

DC

Denny Crane (I don't... in ClickHouse не тормозит
Egor Ol
Это distributed таблица, он в /var/lib/clickhouse/data/  создает папки типа user:password@shard1replica1.domain.com,user:password@shard1replica2.domain.com и я так понимаю перед тем как заливать части данных на другие шарды помещает их сюда. Так вот я убрал из списка кластера эти шарды и добавил новые, все работает, но папка осталась и когда я отключаю старые реплики, он все еще пытается к ним коннектиться. Вопрос именно о distributed таблицах, их вроде как раз нет в зоокипере.
А детач/ атач не пробовали?
таблицу distributed можно пересоздать drop/create
источник
15:03пожаловаться#5

A

Argo in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Кх 20.1? Это исправили
version 20.1.6.30 (official build)
источник
15:04пожаловаться#6

VB

Vladimir Bunchuk in ClickHouse не тормозит
Argo
Коллеги, нужна помощь.
Сделал я мутацию на апдейт, и как я теперь уже понимаю, очень неоптимально.
Теперь кликхаус пытается эту мутацию применить, и для этого съедает всю оперативку, потом своп, потом просто все ложится.
Можно ли как-то удалить выполнение этой мутации (при погашенном кх, т.к. при поднятом это вообще невозможно)?
Ну или можно ли как-то ограничить использование памяти, чтобы он ее все-же закончил?
можешь пробнуть, пока сервак живет, удалить мутацию из system.mutations
источник
15:07пожаловаться#7

AS

Alexander Sapin in ClickHouse не тормозит
Argo
version 20.1.6.30 (official build)
Если таблица не реплицированная, то можно удалить просто файл на диске /var/lib/clickhouse/data/имя_таблицы/mutation_xx.txt
источник
15:08пожаловаться#8

A

Argo in ClickHouse не тормозит
Alexander Sapin
Если таблица не реплицированная, то можно удалить просто файл на диске /var/lib/clickhouse/data/имя_таблицы/mutation_xx.txt
там еще папки есть tmp_mut_...
их тоже?
источник
15:10пожаловаться#9

AS

Alexander Sapin in ClickHouse не тормозит
Argo
там еще папки есть tmp_mut_...
их тоже?
Не, они норм. Их сервер сам потрёт.
источник
15:10пожаловаться#10

O

Oleg in ClickHouse не тормозит
Привет, а какой путь для вставки выбрать?  Слышал что с кафкой были проблемы, а прокси больше на какие-то поделки похожи или есть какая-то самая используемая? понятно что вопрос мейнстримовый, но не хотелось бы неверную дорожку выбрать, должен быть какой-то один самый правильный способ как правило
источник
15:11пожаловаться#11

A

Argo in ClickHouse не тормозит
Alexander Sapin
Не, они норм. Их сервер сам потрёт.
Спасибо! Помогло
источник
15:16пожаловаться#12

AS

Alexander Sapin in ClickHouse не тормозит
Argo
Спасибо! Помогло
Обновитесь до последней 20.1. Там много полезных правок.
источник
15:16пожаловаться#13

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
show users

select * from system.users
спасибо
но почему-то такой таблицы в бд system нет
источник
15:17пожаловаться#14

R

Rail in ClickHouse не тормозит
Slach
https://www.altinity.com/blog/clickhouse-kafka-engine-faq

пока нету метрик в коде для Kafka Engine
Altinity
ClickHouse Kafka Engine FAQ — Altinity
May 4, 2020   Kafka is a popular way to stream data into ClickHouse. ClickHouse has a built-in connector for this purpose -- the  Kafka engine . Our friends from Cloudfare originally contributed this engine to ClickHouse. The Kafka engine has been reworked quite a lot since then and is now maintaine
спасибо за ответ
источник
15:30пожаловаться#15

S

Slach in ClickHouse не тормозит
Oleg
Привет, а какой путь для вставки выбрать?  Слышал что с кафкой были проблемы, а прокси больше на какие-то поделки похожи или есть какая-то самая используемая? понятно что вопрос мейнстримовый, но не хотелось бы неверную дорожку выбрать, должен быть какой-то один самый правильный способ как правило
вы озвучьте сколько данных льете. какими порциями из какого источника
серебрянной пули нет

кафка не обязательно должна через kafka engine юзаться
варианты разные есть
ENGINE=Buffer() , clickhouse-bulk, kittenhouse

единственное что надо в голове держать что MergreTree надо вставлять либо не чаще 1 раз в секунду ,
либо вставлять большими пачками по 10 тыс записей (а лучше по 100 и более тыщ)
источник
15:48пожаловаться#16

E

Eugene in ClickHouse не тормозит
Slach
вы озвучьте сколько данных льете. какими порциями из какого источника
серебрянной пули нет

кафка не обязательно должна через kafka engine юзаться
варианты разные есть
ENGINE=Buffer() , clickhouse-bulk, kittenhouse

единственное что надо в голове держать что MergreTree надо вставлять либо не чаще 1 раз в секунду ,
либо вставлять большими пачками по 10 тыс записей (а лучше по 100 и более тыщ)
а чем чревата более частая, чем 1с вставка?
источник
15:53пожаловаться#17

S

Slach in ClickHouse не тормозит
Eugene
а чем чревата более частая, чем 1с вставка?
Too Many Parts ошибкой и невозможностью дальнейших вставок
источник
15:54пожаловаться#18

S

Slach in ClickHouse не тормозит
Кафку ставят. для того чтобы из кафки выгребать равномерно и вставлять большими блоками
источник
15:55пожаловаться#19

S

SiMo in ClickHouse не тормозит
Добрый день,
Прошу помощи бывалих так как знакомство только начал.
Задача следующая.
Есть несколько типов ивентов и таймстампом, все в одной табличе.
Нужно посчиать солько всего было каких ивентов каждый день за последние х дней.

К примеру:
|day 1| event A|
|day 2| event A|
|day 2| event B|
|day 3| event A|
|day 3| event C|
|day 4| event B|
|day 5| event A|


Ожидание
|A |B |C
day1|1 |0 |0
day2|2 |1 |0
day3|3 |1 |1
day4|3 |2 |1
day5|4 |2 |1

В постгре я бы решал это при помощи рекурсивных запросов.
Какие есть инструменты для этого в кликхаусе?
источник
16:01пожаловаться#20