Size: a a a

ClickHouse не тормозит

2021 January 26

S

Slach in ClickHouse не тормозит
Семен Скурихин
Привет, кто знает за Yandex Managed Service for ClickHouse, не получается настроить подключение к БД через DBeaver, чет второй день уже туплю(
JDBC поверх HTTP работает
какой нибудь
curl -vvv "https://user:password@имя_хоста_yandex_cloud:8443/?query=SELECT+version()"
что показывает?
источник

S

Slach in ClickHouse не тормозит
Семен Скурихин
Привет, кто знает за Yandex Managed Service for ClickHouse, не получается настроить подключение к БД через DBeaver, чет второй день уже туплю(
dbeaver вроде через обычный JDBC умеет конектиться
зачем вам ODBC.ini ? вы в DBeaver создаете коннект с типом ODBC и пытаетесь clickhouse-odbc использовать?
источник

СС

Семен Скурихин... in ClickHouse не тормозит
Slach
dbeaver вроде через обычный JDBC умеет конектиться
зачем вам ODBC.ini ? вы в DBeaver создаете коннект с типом ODBC и пытаетесь clickhouse-odbc использовать?
Не, я создаю коннект с кликхаусом
источник

M

Miho in ClickHouse не тормозит
Всем привет!

Подскажите, пожалуйста, как бэкапить все таблицы с помощью контейнера "alexakulov/clickhouse-backup", а не только "MergeTree family" ?
Дело в том что у меня есть потребность бэкапить таблицы с engine "TinyLog"

(по истории канала побегал и не нашёл ответ на мой вопрос)
источник

AS

Aleksandr Smirnov in ClickHouse не тормозит
Семен Скурихин
Привет, кто знает за Yandex Managed Service for ClickHouse, не получается настроить подключение к БД через DBeaver, чет второй день уже туплю(
Проверьте в свойствах драйвера ssl. Вполне возможно ломиться без ssl
источник

СС

Семен Скурихин... in ClickHouse не тормозит
Aleksandr Smirnov
Проверьте в свойствах драйвера ssl. Вполне возможно ломиться без ssl
Стоит фолс, щя почитаю, мож, необходимо его настроить. Пасиба.
источник

SS

Sergey Sesiunin in ClickHouse не тормозит
Дмитрий Негреев
при чтении через ODBC возникает ошибка
Incomplete input stream, expected at least 1701080899 more bytes

не подскажите какой параметр отвечает за это?
Привет! У меня точно такая же ошибка, нашёл этот пост с гугла.  Удалось найти решение?
источник

VM

Vadim Metikov in ClickHouse не тормозит
Привет всем.  Может,  кто сталкивался с ограничением мерджей?  В одной таблице в партиции уже 1000 партов,  иногда в логах вижу задержку вставки на 8мс, больше ничего необычного не вижу,  партиции небольшие, может есть какие-то параметры?
источник

S

Slach in ClickHouse не тормозит
Семен Скурихин
Не, я создаю коннект с кликхаусом
ну проверьте тогда коннект через curl как я показал
скиньте лог
источник

S

Slach in ClickHouse не тормозит
Vadim Metikov
Привет всем.  Может,  кто сталкивался с ограничением мерджей?  В одной таблице в партиции уже 1000 партов,  иногда в логах вижу задержку вставки на 8мс, больше ничего необычного не вижу,  партиции небольшие, может есть какие-то параметры?
сколько из этих партов active ?
как вставляете какими кусками?
задержка это походу у вас Throttling
SELECT * FROM  system.events WHERE event ILIKE '%inserts%';
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Всем привет, в remote_server у меня есть кластер, в шарде одна реплика.
Хочу добавить реплику в этот шард
Мне достаточно
- повторить конфигурацию по storate_policy
- добавить на работающей реплике хост с новой репликой, в remote_servers
- создать таблицу на новой реплике
CH подтянет все данные сам?
Версия: 20.10.6.27-2
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Всем привет, в remote_server у меня есть кластер, в шарде одна реплика.
Хочу добавить реплику в этот шард
Мне достаточно
- повторить конфигурацию по storate_policy
- добавить на работающей реплике хост с новой репликой, в remote_servers
- создать таблицу на новой реплике
CH подтянет все данные сам?
Версия: 20.10.6.27-2
таблица ReplicatedMergeTree?

<remote_servers>
это вообще про Distributed таблицы а не про ReplicatedMergeTree
если вставляете в Distributed таблицу напрямую, то туда новую реплику в шард надо добавлять в самом конце, после того как данные отреплицируются

в момент создания таблицы на новой реплике на новом хосте
проверьте опции ENGINE=ReplicatedMergeTree(..вотут)
у вас макрос replica должен быть правильно определен
см. system.macros и xml конфиги

после создания движок ReplicatedMergeTree зарегает новую реплику в Zookeeper
см.
 SELECT * FROM system.zookeeper WHERE path='/тут путь который указывали в CREATE TABLE' FORMAT Vertical


и версии clickhouse  должны совпадать
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
- таблица ReplicatedMergeTree?
Да, конечно
- у вас макрос replica должен быть правильно определен
Да, все макросы на месте
- это вообще про Distributed таблицы а не про ReplicatedMergeTree
То есть можно даже не указывать ноду в remote_servers, а сразу создавать таблицу с нужным путем в ZK?
источник

VM

Vadim Metikov in ClickHouse не тормозит
Slach
сколько из этих партов active ?
как вставляете какими кусками?
задержка это походу у вас Throttling
SELECT * FROM  system.events WHERE event ILIKE '%inserts%';
Все активные,  если не только активные,  то 1100-1200,
Куски по 5-8м строк,  строки по 150 байт примерно,
источник

VM

Vadim Metikov in ClickHouse не тормозит
Slach
сколько из этих партов active ?
как вставляете какими кусками?
задержка это походу у вас Throttling
SELECT * FROM  system.events WHERE event ILIKE '%inserts%';
ILIKE не нашел, версия 19.15.4, но

SELECT *
FROM system.events
WHERE event LIKE '%nserts%'

┌─event──────────────────────┬─value─┬─description──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ DelayedInserts             │  3269 │ Number of times the INSERT of a block to a MergeTree table was throttled due to high number of active data parts for partition.                          │
│ DelayedInsertsMilliseconds │ 14336 │ Total number of milliseconds spent while the INSERT of a block to a MergeTree table was throttled due to high number of active data parts for partition. │
└────────────────────────────┴───────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
источник

VM

Vadim Metikov in ClickHouse не тормозит
Slach
сколько из этих партов active ?
как вставляете какими кусками?
задержка это походу у вас Throttling
SELECT * FROM  system.events WHERE event ILIKE '%inserts%';
Даже ст тротлингом вставки идут , не отставая, почему парты не смердживаются, не ясно, всера было 400 кусков активных, а сегодня выросло и не падает, хотя ресурсы(диск, проц, память, воркеры) - есть, может какой-то лимит сверху говорит, мерджить мелкими пачками или что-то ещё?
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
таблица ReplicatedMergeTree?

<remote_servers>
это вообще про Distributed таблицы а не про ReplicatedMergeTree
если вставляете в Distributed таблицу напрямую, то туда новую реплику в шард надо добавлять в самом конце, после того как данные отреплицируются

в момент создания таблицы на новой реплике на новом хосте
проверьте опции ENGINE=ReplicatedMergeTree(..вотут)
у вас макрос replica должен быть правильно определен
см. system.macros и xml конфиги

после создания движок ReplicatedMergeTree зарегает новую реплику в Zookeeper
см.
 SELECT * FROM system.zookeeper WHERE path='/тут путь который указывали в CREATE TABLE' FORMAT Vertical


и версии clickhouse  должны совпадать
Заметил такую вещь,
- Создал табличку test в replica_1
- Залил данных
- Создал такую же табличку в replica_2, данные залились
- Удалил табличку на replica_2
- Попытался создать табличку на replica_2 еще раз и получаю такую ошибку:
DB::Exception: File not found: /mnt/data_hdd/clickhouse-4-sh1-dev-cluster-01/clickhouse/store/a8a/a8a9fceb-05c7-4d4c-89c0-45ab85801418/format_version.txt
В ZK вижу что осталась мета по replica_2
З.Ы. табличка такая:
CREATE TABLE IF NOT EXISTS test
(
   `timestamp` DateTime,
   `applicationId` Int64,
   `date` Date,
   `my_interval` Int64,
   `count` Int64
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{database}/{table}', '{replica}')
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY date
TTL timestamp + INTERVAL 178 DAY TO VOLUME 'cold_volume'
SETTINGS storage_policy = 'moving_from_ssd_to_hdd';

Баг?
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
- таблица ReplicatedMergeTree?
Да, конечно
- у вас макрос replica должен быть правильно определен
Да, все макросы на месте
- это вообще про Distributed таблицы а не про ReplicatedMergeTree
То есть можно даже не указывать ноду в remote_servers, а сразу создавать таблицу с нужным путем в ZK?
да, но потом при чтении из Distributed надо все таки указать
ну и если вставляете Distributed то тоже надо указать

ну и internal_replication true выставить, чтобы  в две ноды не писать из distributed
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
да, но потом при чтении из Distributed надо все таки указать
ну и если вставляете Distributed то тоже надо указать

ну и internal_replication true выставить, чтобы  в две ноды не писать из distributed
Distrubuted таблицы нет, так как шард всего один
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Заметил такую вещь,
- Создал табличку test в replica_1
- Залил данных
- Создал такую же табличку в replica_2, данные залились
- Удалил табличку на replica_2
- Попытался создать табличку на replica_2 еще раз и получаю такую ошибку:
DB::Exception: File not found: /mnt/data_hdd/clickhouse-4-sh1-dev-cluster-01/clickhouse/store/a8a/a8a9fceb-05c7-4d4c-89c0-45ab85801418/format_version.txt
В ZK вижу что осталась мета по replica_2
З.Ы. табличка такая:
CREATE TABLE IF NOT EXISTS test
(
   `timestamp` DateTime,
   `applicationId` Int64,
   `date` Date,
   `my_interval` Int64,
   `count` Int64
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{database}/{table}', '{replica}')
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY date
TTL timestamp + INTERVAL 178 DAY TO VOLUME 'cold_volume'
SETTINGS storage_policy = 'moving_from_ssd_to_hdd';

Баг?
новая версия ClickHouse ? это движок БД  Atomic
лучше всего {uuid} макрос включать в путь
источник