Size: a a a

ClickHouse не тормозит

2020 June 25

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan

 % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                Dload  Upload   Total   Spent    Left  Speed
100  169M    0  169M    0     0   107M      0 --:--:--  0:00:01 --:--:--  106M
ну в общем медленная у вас сеть, 169МБ качается 1 сек. переходите на 40 гбит
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну в общем медленная у вас сеть, 169МБ качается 1 сек. переходите на 40 гбит
это какое оборудование нужно?
источник

AS

Aleksandr Strogonov in ClickHouse не тормозит
Yan
это какое оборудование нужно?
QSFP модули
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yan
это какое оборудование нужно?
да я прикалываюсь, непонятно чего вы ожидаете, если вам надо скачать 100МБ, то ожидаемо что при 1Гбит будет качаться 1сек

и компрессия более сложно включается , надо -H 'Accept-Encoding: deflate'
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и jdbc умеет сжатие, там флажок есть
источник

Y

Yan in ClickHouse не тормозит
Aleksandr Strogonov
QSFP модули
👍thx.у меня за сервер идет WS плата от ASUS, поэтому не подойдет
источник

Y

Yan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да я прикалываюсь, непонятно чего вы ожидаете, если вам надо скачать 100МБ, то ожидаемо что при 1Гбит будет качаться 1сек

и компрессия более сложно включается , надо -H 'Accept-Encoding: deflate'
я как раз ожидал худшего, но то, что все уперлось в сеть меня порадовало. По крайне мере нет смысла менять мой SOHO mikrotik без апгрейда всей сети. Вы мне очень помогли 😁
источник
2020 June 26

BB

Bral Bral in ClickHouse не тормозит
Может быть такое, что если размер постоянно больше чем 150гб (которое по умолчанию ) то оно и не будет мерджится? max_bytes_to_merge_at_max_space_in_pool
источник

BB

Bral Bral in ClickHouse не тормозит
Что значит "и при достаточном количестве свободных ресурсов в фоновом пуле начинает фоновое слияние" ? Можно ли узнать, на текущий момент достаточно свободных ресурсов или нет ?
источник

D

Dj in ClickHouse не тормозит
В System.metrics, background tasks проверьте
источник

D

Dj in ClickHouse не тормозит
Правда это еще ничего не гарантирует
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Может быть такое, что если размер постоянно больше чем 150гб (которое по умолчанию ) то оно и не будет мерджится? max_bytes_to_merge_at_max_space_in_pool
они будут мержится если их 10 - 15 будет по 150ГБ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Что значит "и при достаточном количестве свободных ресурсов в фоновом пуле начинает фоновое слияние" ? Можно ли узнать, на текущий момент достаточно свободных ресурсов или нет ?
место на диске, и кол-во бегущих мержей меньше чем размер background pool
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Может быть такое, что если размер постоянно больше чем 150гб (которое по умолчанию ) то оно и не будет мерджится? max_bytes_to_merge_at_max_space_in_pool
а да, если вы про 3000 партов, то скорее всего они в разных партициях, поэтому конечно они не будут мержится, в смысле парты мержатся только в разрезе партиций
источник

BB

Bral Bral in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а да, если вы про 3000 партов, то скорее всего они в разных партициях, поэтому конечно они не будут мержится, в смысле парты мержатся только в разрезе партиций
Согласен, но хоть что-то должно уменьшиться . Соседня таблица, по другому ордер бай - в 3 раза меньше
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Согласен, но хоть что-то должно уменьшиться . Соседня таблица, по другому ордер бай - в 3 раза меньше
слишком мало информации, надо знать что за таблицы, какое партиционирование, сколько партов в партициях, размеры, насколько парты старые
источник

BB

Bral Bral in ClickHouse не тормозит
@dj_mixer @den_crane @unamedrus  спасибо, буду экспериментировать .
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и пока что я не верю что отличается только order by
источник

BB

Bral Bral in ClickHouse не тормозит
Парционирование по (date,тип). Ордер бай в во всех случая - ключ,тип(всего 3 значения ), to_startofhour
источник

BB

Bral Bral in ClickHouse не тормозит
Данные хранятся ~3 месяца
источник