Телеграмм чат группы clickhouse

lnuynxa in ClickHouse не тормозит

22:44пожаловаться #3

l

Dj

пустыми оставляет в ReplicatedMT, руками чистим все
https://github.com/ClickHouse/ClickHouse/pull/13252

GitHub

Remove empty parts after they were pruned by TTL by CurtizJ · Pull Request #13252 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Improvement

Changelog entry (a user-readable short description of the cha...

Это уже поправили, емнип

22:45пожаловаться #4

D

lnuynxa

Это уже поправили, емнип

хз, вижу ПР незамерженный

Denny Crane [not a Y... in ClickHouse не тормозит

22:45пожаловаться #5

DC

Dj

одинаковый перформанс примерно когда тормозов нет.
а тормоза там были из-за того что один из хостов внезапно начинает тормозить по ИО (так как ввиду других факторов, там есть апп. хотя апп пишет вообще на ССД массив, но может контроллер или ОС не тянет, или ФС кеш убивается аппом, либо XFS что то мутит, уходит в 99% ио kernel)

с xfs кстати есть вопросы, при активной записи, ext4 лучше (для КХ), в github есть пример от клаудфлер

Denny Crane [not a Y... in ClickHouse не тормозит

22:45пожаловаться #6

DC

Dj

пустыми оставляет в ReplicatedMT, руками чистим все
https://github.com/ClickHouse/ClickHouse/pull/13252

GitHub

Remove empty parts after they were pruned by TTL by CurtizJ · Pull Request #13252 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Improvement

Changelog entry (a user-readable short description of the cha...

упс, я думал смержили, вроде давно было

22:46пожаловаться #7

D

с xfs кстати есть вопросы, при активной записи, ext4 лучше (для КХ), в github есть пример от клаудфлер

да уже прочёл =) но переформатировать уже поздно... а клаудфлер там вообще очень специфичный кейс правда... но в XFS проблема явно есть, он в нирвану выпадает... поиграемся в noatime, logbsize, etc...

22:47пожаловаться #8

D

с xfs кстати есть вопросы, при активной записи, ext4 лучше (для КХ), в github есть пример от клаудфлер

ну ли ФС кеш... апп очень бурно насилует ССД массив свой, и не умеет в directio

22:48пожаловаться #9

D

с xfs кстати есть вопросы, при активной записи, ext4 лучше (для КХ), в github есть пример от клаудфлер

т.е. когда я запускаю КХ с min_bytes_to_use_direct_io=1 он тормозит ещё похлеще

Denny Crane [not a Y... in ClickHouse не тормозит

22:49пожаловаться #10

DC

в общем КХ написан с учетом ext4, ext4 например есть оптимизация -- нету глобального лока (фс) если файл переименовывается внутри диры, и Алексей писал клик с учетом вот таких микрооптимизаций ext4

22:49пожаловаться #11

D

в общем КХ написан с учетом ext4, ext4 например есть оптимизация -- нету глобального лока (фс) если файл переименовывается внутри диры, и Алексей писал клик с учетом вот таких микрооптимизаций ext4

да, эт тоже уже прочитано, этому деплою поздно... газилиарды записей

22:55пожаловаться #12

D

【D】【J】 in ClickHouse не тормозит

один дистрибютед овер мердженджин*

https://t.me/clickhouse_ru/179446
это внутри одного хоста проверка кстати... подозрительно большой оверхеж у мерджа

MERGE:
0 rows in set. Elapsed: 14.899 sec. Processed 635.55 million rows, 335.40 GB (42.66 million rows/s., 22.51 GB/s.)

Table1:
0 rows in set. Elapsed: 5.730 sec. Processed 417.29 million rows, 14.05 GB (72.83 million rows/s., 2.45 GB/s.)
Table2:
0 rows in set. Elapsed: 2.943 sec. Processed 218.27 million rows, 6.27 GB (74.17 million rows/s., 2.13 GB/s.)

чё то мой мердж в плане гигабайтов раскурочило =))) а количество строк совпадает