Телеграмм чат группы clickhouse_ru страница 9452

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

5016 membersпожаловаться на группу

2021 March 10

VB

Vladimir Bunchuk in ClickHouse не тормозит

Можно повесить на таблицу MV, считать в ней количество прилетевших записей и писать куда-нибудь со временем вставки.

спасибо )
Я сделал как раз именно это. Но появились сомнения правильно ли логировать свои данные в себя же
Подумал может быть можно куда-то в system.metrics смотреть или что-то типа того

источник

13:03пожаловаться #1

AS

Alexey Sokolov in ClickHouse не тормозит

Vladimir Bunchuk

спасибо )
Я сделал как раз именно это. Но появились сомнения правильно ли логировать свои данные в себя же
Подумал может быть можно куда-то в system.metrics смотреть или что-то типа того

Если есть другие варианты, то с интересом бы послушал, ибо я не настоящий самосварщик, а только учусь.

источник

13:05пожаловаться #2

АЗ

Александр Загребельн... in ClickHouse не тормозит

Добрый день.
Возможно ли в будущем такое расширение функциональности: представление с параметром, как на рисунке ?

источник

13:06пожаловаться #3

S

Slach in ClickHouse не тормозит

Vladimir Bunchuk

спасибо )
Я сделал как раз именно это. Но появились сомнения правильно ли логировать свои данные в себя же
Подумал может быть можно куда-то в system.metrics смотреть или что-то типа того

в system.metric_log в поле ProfileEvent_InsertedRows данные по всем таблицам сразу, а не по отдельной таблице

источник

13:08пожаловаться #4

АЗ

Александр Загребельн... in ClickHouse не тормозит

Представление с параметрами имело бы дополнительные возможности. При выборке без определенных в представлении параметров можно, например, возвращать ошибку с сообщением, что требуется задать параметры

источник

13:08пожаловаться #5

VB

Vladimir Bunchuk in ClickHouse не тормозит

в system.metric_log в поле ProfileEvent_InsertedRows данные по всем таблицам сразу, а не по отдельной таблице

а с какой версии эта табличка доступна? а то на моем 20.10 не вижу

источник

13:09пожаловаться #6

DN

Demetra Nadya in ClickHouse не тормозит

sudo -H -u clickhouse clickhouse-backup --help

неизвестная команда clickhouse-backup

источник

13:09пожаловаться #7

DN

Demetra Nadya in ClickHouse не тормозит

😐

источник

13:09пожаловаться #8

S

Slach in ClickHouse не тормозит

Vladimir Bunchuk

а с какой версии эта табличка доступна? а то на моем 20.10 не вижу

https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#metric_log
https://clickhouse.tech/docs/en/operations/system-tables/metric_log/

ее отдельно включать надо посмтрите свой config.xml

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

источник

13:10пожаловаться #9

S

Slach in ClickHouse не тормозит

неизвестная команда clickhouse-backup

дак вы clickhouse-backup то скачали на ту машину где сервер?

источник

13:10пожаловаться #10

VB

Vladimir Bunchuk in ClickHouse не тормозит

https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#metric_log
https://clickhouse.tech/docs/en/operations/system-tables/metric_log/

ее отдельно включать надо посмтрите свой config.xml

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

понял
спасибо большое

источник

13:10пожаловаться #11

DN

Demetra Nadya in ClickHouse не тормозит

дак вы clickhouse-backup то скачали на ту машину где сервер?

да, только в другом месте лежит

источник

13:11пожаловаться #12

S

Slach in ClickHouse не тормозит

да, только в другом месте лежит

ну так из другого места и вызывайте, путь до файла пишите где там у вас clickhouse-backup лежит

источник

13:20пожаловаться #13

DN

Demetra Nadya in ClickHouse не тормозит

так я внутри этой папки нахожусь, оттуда и запкскаю

источник

13:21пожаловаться #14

В

Влад in ClickHouse не тормозит

Всем привет!

Видел что уже сталкивались с разными segfault.
На одном узле, во время рестарта clickhouse-server возник и у меня. И теперь никак не хочет стартовать.
Но не могу найти проблем. В dmesg ничего, в event логе iDRAC тоже пусто.

Может кто-то сталкивался с этим segfault?

<Fatal> BaseDaemon: ########################################
<Fatal> BaseDaemon: (version 21.1.6.13 (official build), build id: 896DF0AF4B2C9E1BEE4965CB71D7D71CB7C64C10) (from thread 3219904) (no query) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
<Fatal> BaseDaemon: Stack trace: 0x87a835d 0x7f8d408923c0
<Fatal> BaseDaemon: 0. ? @ 0x87a835d in /usr/bin/clickhouse
<Fatal> BaseDaemon: 1. ? @ 0x153c0 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
<Fatal> BaseDaemon: Checksum of the binary: C68C343B82ED45C8357E8A61A37FE0DC, integrity check passed.

источник

13:21пожаловаться #15

DN

Demetra Nadya in ClickHouse не тормозит

источник

13:22пожаловаться #16

В

Влад in ClickHouse не тормозит

Всем привет!

Видел что уже сталкивались с разными segfault.
На одном узле, во время рестарта clickhouse-server возник и у меня. И теперь никак не хочет стартовать.
Но не могу найти проблем. В dmesg ничего, в event логе iDRAC тоже пусто.

Может кто-то сталкивался с этим segfault?

<Fatal> BaseDaemon: ########################################
<Fatal> BaseDaemon: (version 21.1.6.13 (official build), build id: 896DF0AF4B2C9E1BEE4965CB71D7D71CB7C64C10) (from thread 3219904) (no query) Received signal Segmentation fault (11)
<Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
<Fatal> BaseDaemon: Stack trace: 0x87a835d 0x7f8d408923c0
<Fatal> BaseDaemon: 0. ? @ 0x87a835d in /usr/bin/clickhouse
<Fatal> BaseDaemon: 1. ? @ 0x153c0 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
<Fatal> BaseDaemon: Checksum of the binary: C68C343B82ED45C8357E8A61A37FE0DC, integrity check passed.

Причем бывает, что через некоторое время, по systemd может подняться. Но проходит много неудачных попыток стартовать.

источник

13:23пожаловаться #17

AS

Alexey Sokolov in ClickHouse не тормозит

Кстати, пара вопросов к тем, кто использует kafka-engine в качестве источника данных. Поделитесь опытом, пожалуйста.

1. Какие объёмы данных вы вычитываете таким образом?
У меня есть несколько десятков топиков по 100000 записей в секунду (в районе 27мб пачка) каждый, сейчас они пишутся в КХ приложением. Движок с MV будет успевать их вычитывать?
2. Если потребуется наращивать скорость, то как оно масштабируется?

источник

13:42пожаловаться #18

VB

Vladimir Bunchuk in ClickHouse не тормозит

https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#metric_log
https://clickhouse.tech/docs/en/operations/system-tables/metric_log/

ее отдельно включать надо посмтрите свой config.xml

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

Спасибо, все получилось.
А что посоветуете чтобы мониторить отдельные таблички?
Была мысль сделать кафка-табличку с отдельным топиком для логов вставок и писать в нее через матвью кол-во вставок по таблицам
а уже в каком-то другом кликхаусе оттдуда читать данные. Как вы считаете, такой подход имеет местоо быть?

источник

13:43пожаловаться #19

S

Sharif in ClickHouse не тормозит

во что скорее всего будет упираться кликхаус если делать много параллельных запросов с FINAL?

источник

13:50пожаловаться #20