в error log смотреть про ошибки мержей?

Угу, да и в общем на предмет ошибок.

спасибо

Ну в мануале референс:
OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FINAL] [DEDUPLICATE]
Соответственно если указать ON CLUSTER то должно

у altinity в докладе было вот так

кстати тяжелый optimize и без ON CLUSTER иногда ошибки отдает

DB::NetException: Timeout exceeded while reading from socket ...

как будто он что-то ждал от соседа 300 секунд
этот момент не совсем понятен

Спасибо. Просто я гоняю optimize на каждой ноде отдельно и лезут WARNING такого плана: <Warning> mus4.src_merge_local (ReplicatedMergeTreePartCheckThread): Checking part 20200514_125248_125282_6

<Warning> mus4.src_merge_local (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 20200514_125248_125282_6.

<Warning> mus4.src_merge_local (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 20200514_125248_125

282_6. Hoping that it will eventually appear as a result of a merge.

так понимаю это связано как-то с одновременным запуском optimize

коллеги, такой вопрос
если я добавляю больше одного фаила конфигурации под config.d и в некоторых фаилах есть один и тот же сеттинг, в каком порядке они будут перекрывать друг друга?

На самом деле не сложно проверить. Просто запустите на одном хосте и промониторьте количество партов на всех.

Всем день!)
Пытаюсь уже какой день скопировать данные из старого кластера в новый, на определенной табличке clickhouse-copier падает и говорит не вижу экстернал словоря, при этом словарь подключен, если смотреть в самом клик хаусе. Ошибок по этому словарю в логах нету.

Словарь в виде файла на хостах

в csv

https://play.clickhouse.tech

можете сделать пулл реквест для документации?

Всем привет.
Как корректно в конфиг для словаря добавить новое поле из монги которые имеет путь ‘info.isHidden’ и тип Boolean?

<dictionary>
    <name>dict_name</name>

    <source>
        <mongodb>…</mongodb>>
    </source>
    <lifetime>
        <min>300</min>
        <max>360</max>
    </lifetime>

    <layout>
        <complex_key_hashed />
    </layout>

    <structure>
        <key>
            <attribute>
                <name>_id</name>
                <type>String</type>
                <is_object_id>true</is_object_id>
                <null_value></null_value>
            </attribute>
        </key>

        <attribute>
            <name>type</name>
            <type>String</type>
            <null_value></null_value>
        </attribute>
    </structure>
</dictionary>

Да

Сталкивался ли кто-нибудь с подобным? Есть кластер 2 реплики х 4 шарда. Есть сервис, который запускает по определённым правилам OPTIMIZE FINAL PARTITION ID. Вот этот https://github.com/innogames/graphite-ch-optimizer
Параметры dsn tcp://localhost:9000?secure=false&debug=false&optimize_throw_if_noop=1&read_timeout=7200

Если сервис работает из одного ДЦ, то всё работает нормально. Если из другого, то гарантированно через 300 секунд ловится exception

[209] Timeout exceeded while reading from socket ([$replica_ipv6]:9000): while receiving packet from replica-name:9000 \n0. Poco::Exception::Exception(std::__1::......... stack trace

Я подозреваю, это может быть связано с тем, какая реплика в настоящий момент мастер.. Но в 4 случаях из 4 мастер - это хост в одном и том же ДЦ.

Как это можно залечить?

Реплики делаю  одинаковые мержи. Релика лидер их назначает через зукипер. Т.е. говорит начинаем мержить парты а и б выходной парт будет называться д.

DB::NetException: Timeout exceeded while reading from socket ...

Это про то что мерж шел дольше 300сек. На самом деле мерж не обрывается, это клиент сообщает что за 300сек ничего от сервера не получил.

ровно та же ситуация, что и моя. Но как от этого избавиться?