В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3930 membersпожаловаться на группу
2020 May 26

C

Cargeh in ClickHouse не тормозит
Нужно в одном запросе вставить в 1000 партиций за раз (только не спрашивайте зачем). Кликхаус, естественно, ругается и отказывается. Есть какие-то хаки/обходы? (кроме подкручивания настройки)

Поможет ли тут Buffer таблица или она с той же ошибкой свалится?
источник
14:36пожаловаться#1

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
Нужно в одном запросе вставить в 1000 партиций за раз (только не спрашивайте зачем). Кликхаус, естественно, ругается и отказывается. Есть какие-то хаки/обходы? (кроме подкручивания настройки)

Поможет ли тут Buffer таблица или она с той же ошибкой свалится?
В кх задан лимит чтобы такого не инсерта не было случайно. Если вы в курсе что делаете то просто задайте другой лимит.
источник
14:37пожаловаться#2

C

Cargeh in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
В кх задан лимит чтобы такого не инсерта не было случайно. Если вы в курсе что делаете то просто задайте другой лимит.
там суровое предупреджение, что перфомансу в таком случае кабздец (и оно понятно). Вот хотелось бы сгладить как-то
источник
14:39пожаловаться#3

D

Dj in ClickHouse не тормозит
Cargeh
Нужно в одном запросе вставить в 1000 партиций за раз (только не спрашивайте зачем). Кликхаус, естественно, ругается и отказывается. Есть какие-то хаки/обходы? (кроме подкручивания настройки)

Поможет ли тут Buffer таблица или она с той же ошибкой свалится?
Если одноразово то норм... Хоть 10 тыс кусков за раз
источник
14:41пожаловаться#4

C

Cargeh in ClickHouse не тормозит
Dj
Если одноразово то норм... Хоть 10 тыс кусков за раз
как понять одноразово? Что в данном случае будет многоразово? Если каждый инсерт в 1000 партиций будет вставлять?
источник
14:42пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
там суровое предупреджение, что перфомансу в таком случае кабздец (и оно понятно). Вот хотелось бы сгладить как-то
предупреждение во первых намекает что возможно кто-то задал неправильно partition by, во вторых возможно вставляет неправильно, слишком часто.
источник
14:43пожаловаться#6

D

Dj in ClickHouse не тормозит
Cargeh
как понять одноразово? Что в данном случае будет многоразово? Если каждый инсерт в 1000 партиций будет вставлять?
Одноразово - руками один раз
Имеется ввиду не как часть etl
источник
14:44пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
как понять одноразово? Что в данном случае будет многоразово? Если каждый инсерт в 1000 партиций будет вставлять?
Если каждому инсерту надо вставлять в 1000 партиций, то у вас кривая таблица и кривой etl.
источник
14:45пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavel Sayapin
это понятно, но я к тому, что такая ошибка возникает, когда много партиций или когда часто пишется, но ни того ни другого нету
Если таблица replicated то смотрите в replication_queue.
источник
14:48пожаловаться#9

C

Cargeh in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Если каждому инсерту надо вставлять в 1000 партиций, то у вас кривая таблица и кривой etl.
ех, это да. Приходится в кликхаус пихать данные, которые хз как на партиции разбить. Там только в большинстве своем уникальные строки да числа. Думали по % 1000 искуственно разбить на 1к партиций, но не подумали и вот...

может, тут есть какой хак?
источник
14:51пожаловаться#10

D

Dj in ClickHouse не тормозит
>Думали по % 1000 искуственно разбить на 1к партиций, но не подумали и вот..

в КХ подобный партишнинг (хеш партишнинг) не работает на прунинг, если вы заранее с колонкой не подсуетитесь (колонка partitionId например)
опишите подробней про данные, тогда можно подумать
источник
14:52пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Cargeh
ех, это да. Приходится в кликхаус пихать данные, которые хз как на партиции разбить. Там только в большинстве своем уникальные строки да числа. Думали по % 1000 искуственно разбить на 1к партиций, но не подумали и вот...

может, тут есть какой хак?
Ну копить в etl в 1000 очередей и делать 1000 инсертов изредка
источник
14:53пожаловаться#12

D

Dj in ClickHouse не тормозит
Cargeh
ех, это да. Приходится в кликхаус пихать данные, которые хз как на партиции разбить. Там только в большинстве своем уникальные строки да числа. Думали по % 1000 искуственно разбить на 1к партиций, но не подумали и вот...

может, тут есть какой хак?
а зачем вам 1000 партиций и почему именно 1000? =)
источник
14:54пожаловаться#13

AM

Anes Mukhametov in ClickHouse не тормозит
подскажите, кликхаус еще не умеет ходить в керберизованый hdfs?
источник
14:57пожаловаться#14

KG

Konstantin Grigorev in ClickHouse не тормозит
добрый день! подскажите пожалуйста, как правильнее осуществить миграцию данных в случае изменения сортировочных ключей у таблицы?
источник
14:57пожаловаться#15

PS

Pavel Sayapin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Если таблица replicated то смотрите в replication_queue.
Нет, она не replicated. Выяснили в чём дело. Одновременно с обновлением версии БД, мы также перешли с жёстких дисков на NVM, соответственно скорость записы выросла и начали накапливаться parts, которые не успевали мёрджится с такой скоростью
источник
14:59пожаловаться#16

PS

Pavel Sayapin in ClickHouse не тормозит
поправили настройки parts_to_throw_insert  и parts_to_delay_insert и пока больше не повторялось
источник
14:59пожаловаться#17

C

Cargeh in ClickHouse не тормозит
Dj
а зачем вам 1000 партиций и почему именно 1000? =)
Сколько угодно, лишь бы не одна) и чтобы была какая то закономерность, чтобы инсерты хоть как то фильтровали партиции
источник
15:02пожаловаться#18

YA

Yuri Alexandrovich in ClickHouse не тормозит
Привет, подскажите, у меня есть таблица, например с SerialID товара, ID покупателя, ID действия (заказ, оплата, доставка) пользователя и временем timestamp действия . Таблица большая около 200 Гб. Мне нужно для каждого пользователя выгрузить данные и посчитать аггрегаты на клиенте. Запрос на действия по каждому пользователю будет слишком дорогим. Как бы мне сделать быстро, не нагружая сильно КХ.
источник
15:02пожаловаться#19

V

Vitaly in ClickHouse не тормозит
Коллеги, привет! Есть какой-нибудь гайд по планировщику запросов/как читать логи запроса в Кликхаусе? У меня возникли вопросы по самому пайплайну запроса:)
источник
15:05пожаловаться#20