Телеграмм чат группы clickhouse_ru страница 7585

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4007 membersпожаловаться на группу

2020 June 16

DC

Denny Crane (I don't... in ClickHouse не тормозит

пытаюсь настроить кластер КХ в докере
поднимаю зукипер и два кх в один шард

create table ... on cluster .. ENGINE = ReplicatedMergeTree(...) не работает - пишет

DB::Exception: DDL background thread is not initialized

В интернетах пишут, что это значит, что КХ не настроены на зукипер

Однако если отдельно с обоих хостов создать таблицу без on cluster, то все ок - и пути в зукипере есть , и репликация работает....

таблица system.zookeeper есть?

источник

21:32пожаловаться #1

AK

Andrew Kochen in ClickHouse не тормозит

есть

источник

21:32пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

ищите в логе сразу после старта КХ сообщение про падение DDLWorker

источник

21:32пожаловаться #3

D

Dj in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

DJ провел исследование и все разжевал тут в чатике все, размазано правда на несколько дней

Сорри я выпал, контекст?

источник

21:45пожаловаться #4

DC

Denny Crane (I don't... in ClickHouse не тормозит

Сорри я выпал, контекст?

https://t.me/clickhouse_ru/141931

【D】【J】 in ClickHouse не тормозит

промежуточный груп бай с большим количеством дистинкт не помещался в память. Дело было в очень большом кол-ве потоков параллельно грузившие бакеты (их 256 хардкод) с дисков в память и делающие мердж.

источник

21:46пожаловаться #5

DC

Denny Crane (I don't... in ClickHouse не тормозит

куда уходит память при group by и сколько ее надо

источник

21:47пожаловаться #6

D

Dj in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

куда уходит память при group by и сколько ее надо

https://t.me/clickhouse_ru/141945
собственно вот кому надо...

【D】【J】 in ClickHouse не тормозит

в общем какая-то такая закономерность. иногда бывает экономия так как merge заканчивается раньше на некоторых threads (особенно когда данные с диска), + видимо погрешность хеша груп бая (магический множитель 8.5).

источник

21:50пожаловаться #7

D

Dj in ClickHouse не тормозит

Konstantin Malanchev

Пролетариат требует доклад на митапе или пост где-нибудь =)

вот весь доклад ^, если выбросить маркетинг и слайды для повышения ЧСВ )))
у вас скорее всего много ядер слишком.

источник

21:52пожаловаться #8

KM

Konstantin Malanchev in ClickHouse не тормозит

Спасибо! 8 всего, куда меньше =)

источник

21:53пожаловаться #9

D

Dj in ClickHouse не тормозит

Konstantin Malanchev

Спасибо! 8 всего, куда меньше =)

ну у вас и памяти не 786 ГБ =)

источник

21:55пожаловаться #10

KM

Konstantin Malanchev in ClickHouse не тормозит

Ну у меня и данных-то чуть. Спасибо, очень познавательный слайд

источник

21:56пожаловаться #11

И

Иван in ClickHouse не тормозит

Добрый вечер, подскажите у меня довольно часто возникает такая ошибка:

<Error> aaa.my_table: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 202006_2175069_2175076_1 (state Committed) already exists, Stack trace:

Так же вижу такой варнинг в логах:

<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202006_2186437_2195108_1948. Hoping that it will eventually appear as a result of a merge.

Таблица такая:

CREATE TABLE aaa.my_table
(
    created        Date,
    ts             DateTime,
    event          String,
    taskTs         DateTime
)
ENGINE ReplicatedMergeTree('/clickhouse/table/aaa/my_table', '{replica}')
PARTITION BY toYYYYMM(created)
ORDER BY (event, taskTs)
SETTINGS index_granularity = 8192

Реплик 10 штук, все пишут и читают.
Записей 2M строк в день. соответственно 60М в партиции
Репликация сильно не отстает вроде

Вопрос: Почему возникают такие ошибки (весьма часто - сотни раз в день)? Что за процесс происходит к которому это приводит?
Поможет ли уменьшение размера партиций например?

источник

22:46пожаловаться #12

DC

Denny Crane (I don't... in ClickHouse не тормозит

Добрый вечер, подскажите у меня довольно часто возникает такая ошибка:

<Error> aaa.my_table: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 202006_2175069_2175076_1 (state Committed) already exists, Stack trace:

Так же вижу такой варнинг в логах:

<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202006_2186437_2195108_1948. Hoping that it will eventually appear as a result of a merge.

Таблица такая:

CREATE TABLE aaa.my_table
(
    created        Date,
    ts             DateTime,
    event          String,
    taskTs         DateTime
)
ENGINE ReplicatedMergeTree('/clickhouse/table/aaa/my_table', '{replica}')
PARTITION BY toYYYYMM(created)
ORDER BY (event, taskTs)
SETTINGS index_granularity = 8192

Реплик 10 штук, все пишут и читают.
Записей 2M строк в день. соответственно 60М в партиции
Репликация сильно не отстает вроде

Вопрос: Почему возникают такие ошибки (весьма часто - сотни раз в день)? Что за процесс происходит к которому это приводит?
Поможет ли уменьшение размера партиций например?

т.е. у вас 10 реплик, шардов нет, и distributed таблицы нет?

логлевел trace? что показывает лог если прогрепать его по 202006_2175069_2175076_1 ?

источник

23:01пожаловаться #13

И

Иван in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

т.е. у вас 10 реплик, шардов нет, и distributed таблицы нет?

логлевел trace? что показывает лог если прогрепать его по 202006_2175069_2175076_1 ?

Эта таблица нужна без шардов, на всех репликах одинаковая. другие таблицы шардированы при необходимости. Логи гляну сейчас

источник

23:03пожаловаться #14

DC

Denny Crane (I don't... in ClickHouse не тормозит

Добрый вечер, подскажите у меня довольно часто возникает такая ошибка:

<Error> aaa.my_table: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 202006_2175069_2175076_1 (state Committed) already exists, Stack trace:

Так же вижу такой варнинг в логах:

<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202006_2186437_2195108_1948. Hoping that it will eventually appear as a result of a merge.

Таблица такая:

CREATE TABLE aaa.my_table
(
    created        Date,
    ts             DateTime,
    event          String,
    taskTs         DateTime
)
ENGINE ReplicatedMergeTree('/clickhouse/table/aaa/my_table', '{replica}')
PARTITION BY toYYYYMM(created)
ORDER BY (event, taskTs)
SETTINGS index_granularity = 8192

Реплик 10 штук, все пишут и читают.
Записей 2M строк в день. соответственно 60М в партиции
Репликация сильно не отстает вроде

Вопрос: Почему возникают такие ошибки (весьма часто - сотни раз в день)? Что за процесс происходит к которому это приводит?
Поможет ли уменьшение размера партиций например?

про Warning надо опять же грепать лог и смотреть что в select * from system.replication_queue на всех репликах, возможно некоторые реплики не могут достучаться до некоторых реплик

источник

23:03пожаловаться #15

DC

Denny Crane (I don't... in ClickHouse не тормозит

Эта таблица нужна без шардов, на всех репликах одинаковая. другие таблицы шардированы при необходимости. Логи гляну сейчас

я ОК, у меня тоже так, меня больше всего интересует как делается вставка, есть distributed таблица или нет

источник

23:04пожаловаться #16

И

Иван in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

про Warning надо опять же грепать лог и смотреть что в select * from system.replication_queue на всех репликах, возможно некоторые реплики не могут достучаться до некоторых реплик

Репликация работает точно, иногда разве что задерживаться может немного из-за нескольких неудачных таблиц

источник

23:04пожаловаться #17

И

Иван in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

про Warning надо опять же грепать лог и смотреть что в select * from system.replication_queue на всех репликах, возможно некоторые реплики не могут достучаться до некоторых реплик

<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking part 202006_2186437_2195108_1948
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 202006_2186437_2195108_1948.
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202006_2186437_2195108_1948. Hoping that it will eventually appear as a result of a merge.

источник

23:08пожаловаться #18

D

Dj in ClickHouse не тормозит

@den_crane я тут расчехляю ишшю-мёт в своих записях старых, вам вопрос, на partition pruning by expression (хэш партишнинг, все дела) - ишшю ещё нет?

источник

23:10пожаловаться #19

DC

Denny Crane (I don't... in ClickHouse не тормозит

@den_crane я тут расчехляю ишшю-мёт в своих записях старых, вам вопрос, на partition pruning by expression (хэш партишнинг, все дела) - ишшю ещё нет?

так я вам отвечал https://t.me/clickhouse_ru/165725
https://github.com/ClickHouse/ClickHouse/issues/10220

источник

23:14пожаловаться #20