В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4104 membersпожаловаться на группу
2020 July 16

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
Привет! Делаю optimise table final. Идут мержи. Потом из system.processes пропадает.  В system.merges мержей на таблицу нет.  Но если еще раз делаю optimise table final, то мержи появляются. Как все-таки добиться этого FINAL, т.е. чтобы мержи перестали появляться и процесс был завершен? Я пытаюсь свернуть AggregatinMergeTree
final всегда перезаписывает все целиком не проверяя. Это сделано для того чтобы схлопнуть дубли вставленные одним инсертом.

Вы можете проверять что парт один в партиции
источник
14:55пожаловаться#1

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
final всегда перезаписывает все целиком не проверяя. Это сделано для того чтобы схлопнуть дубли вставленные одним инсертом.

Вы можете проверять что парт один в партиции
и выполнять запросы optimize final пока не останется один парт?
источник
14:56пожаловаться#2

V

Vladimir in ClickHouse не тормозит
инсерты в таблицу на этот момент уже не идут
источник
14:57пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
и выполнять запросы optimize final пока не останется один парт?
Типа того. Теоритически если место есть final делает один парт с первого раза
источник
14:58пожаловаться#4

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Типа того. Теоритически если место есть final делает один парт с первого раза
похоже, что только теоритически(
источник
14:58пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
похоже, что только теоритически(
читайте лог там написано почему нет
источник
15:00пожаловаться#6

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
читайте лог там написано почему нет
ок, спасибо
источник
15:00пожаловаться#7

Д

Дмитрий in ClickHouse не тормозит
всем добрый день. Подскажите, пожалуйста, как можно оптимизировать скорость вставки данных в таблицу в Clickhouse? Есть ли какие-либо программные способы для этого?
источник
15:50пожаловаться#8

SC

Smoked Cheese in ClickHouse не тормозит
делать вставку пожирнее и не чаще чем раз в секунду
источник
15:51пожаловаться#9

Д

Дмитрий in ClickHouse не тормозит
знаю, что например для Oracle - это вставка через pipelined function in parallel mode
источник
15:51пожаловаться#10

Д

Дмитрий in ClickHouse не тормозит
Smoked Cheese
делать вставку пожирнее и не чаще чем раз в секунду
пожирнее - это в районе 1-2 миллионов строк за 1 раз?
источник
15:52пожаловаться#11

SC

Smoked Cheese in ClickHouse не тормозит
можно и так, зависит от объёмов
источник
15:52пожаловаться#12

SC

Smoked Cheese in ClickHouse не тормозит
главное правило - чтоб вставки были не чаще раза в секунду
источник
15:53пожаловаться#13

Д

Дмитрий in ClickHouse не тормозит
а с чем связано по частоте не более 1 раза в секунду?
источник
15:55пожаловаться#14

SC

Smoked Cheese in ClickHouse не тормозит
на каждую вставку создаётся какое-то количество файлов на диске (пропорционально количеству колонок), потом запускаются мержи кучки партов инсертов в более крупные парты
источник
15:59пожаловаться#15

SC

Smoked Cheese in ClickHouse не тормозит
чем меньше инсерты - тем больше мержей - тем больше чтения и записи на диск
источник
15:59пожаловаться#16

VB

Vladimir Bunchuk in ClickHouse не тормозит
Может кто сталкивался?
Как в таблицу с движком Kafka добавить топик и колонку?
источник
16:16пожаловаться#17

VB

Vladimir Bunchuk in ClickHouse не тормозит
боюсь её пересоздавать чтобы не потерять месседжи
источник
16:17пожаловаться#18

D

Dj in ClickHouse не тормозит
Дмитрий
знаю, что например для Oracle - это вставка через pipelined function in parallel mode
это конечно оффтопик, но ни разу вообще... для оракл это direct-path insert большими батчами либо напрямую либо через external table...
источник
16:20пожаловаться#19

D

Dj in ClickHouse не тормозит
Дмитрий
пожирнее - это в районе 1-2 миллионов строк за 1 раз?
да, если памяти много можете ещё больше вставлять.
если инсерт селект - выставите паралелизм на инсерт (параметр есть)

обычно затык не на стороне КХ, а на стороне вставлятеля... вставляйте в нативном формате или паркете (если есть).
из json сильно медленнее
источник
16:22пожаловаться#20