Size: a a a

ClickHouse не тормозит

2020 September 11

OG

Oleg Gavrilov in ClickHouse не тормозит
понял, попробую, спасибо!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
чтобы у них была общая сеть и подключались они тогда по ip , а не по localhost
источник

AP

Abi Palagashvili in ClickHouse не тормозит
подскажите пожалуйста, а в запросе move partition при работе с кластером надо прописывать on cluster?
Или и без этого кх перенесет все партиции на всех нодах?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Abi Palagashvili
подскажите пожалуйста, а в запросе move partition при работе с кластером надо прописывать on cluster?
Или и без этого кх перенесет все партиции на всех нодах?
вопрос про шарды или про реплики?

каждый шард это отдельная таблица. Т.е. таблица X в шарде1 и X в шарде2 это две разные таблицы.

когда вы выполняете команду on cluster -- это просто хелпер который оббегает все шарды и выполняет команду на все нодах
источник

AP

Abi Palagashvili in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вопрос про шарды или про реплики?

каждый шард это отдельная таблица. Т.е. таблица X в шарде1 и X в шарде2 это две разные таблицы.

когда вы выполняете команду on cluster -- это просто хелпер который оббегает все шарды и выполняет команду на все нодах
скажем так.
Мне надо на всех шардах перенести партиции на другие диски
источник

AP

Abi Palagashvili in ClickHouse не тормозит
ну и надо, чтобы в рамках каждого шарда партиции перенеслись на всех репликах
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Abi Palagashvili
скажем так.
Мне надо на всех шардах перенести партиции на другие диски
да, нужен on cluster

что самое смешное я подумал про команду move partition TO TABLE
источник

AP

Abi Palagashvili in ClickHouse не тормозит
alter cluster on replica move partition to table
источник

D

Dj in ClickHouse не тормозит
есть такой вопрос, а после 20.3 кто следующий LTS? вроде 2 раза в год говорили будет?
источник

A

Artem in ClickHouse не тормозит
Привет. Подскажите, пожалуйста, как правильно смотреть список partitions для таблицы, чтобы можно было подставить в OPTIMIZE TABLE tablename FINAL? А то похоже, у меня места на диске не хватает, чтобы завершить OPTIMIZE
источник

D

Dj in ClickHouse не тормозит
select * from system.parts where table like 'aaaa';
колонка partition
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Artem
Привет. Подскажите, пожалуйста, как правильно смотреть список partitions для таблицы, чтобы можно было подставить в OPTIMIZE TABLE tablename FINAL? А то похоже, у меня места на диске не хватает, чтобы завершить OPTIMIZE
select 'optimize table ' || database||'.'|| table || ' partition ' || partition || ' final  /* ' || toString(count()) || ' parts currently */ ;'
from system.parts
where database = 'lz' and active
group by database, table, partition having count() > 1 order by count() desc limit 42;
источник

A

Artem in ClickHouse не тормозит
Dj
select * from system.parts where table like 'aaaa';
колонка partition
ага, точно, туплю. спасибо. А вот то, что они там повторяются -- это ведь не нормально?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
ага, точно, туплю. спасибо. А вот то, что они там повторяются -- это ведь не нормально?
ээ не могут они повторятся group by database, table, partition
источник

D

Dj in ClickHouse не тормозит
Artem
ага, точно, туплю. спасибо. А вот то, что они там повторяются -- это ведь не нормально?
нормально, в одной партиции много партов
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ээ не могут они повторятся group by database, table, partition
SELECT partition
FROM system.parts
WHERE table LIKE 'trades'
LIMIT 10

┌─partition─┐
│ 201707    │
│ 201707    │
│ 201707    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201709    │
│ 201709    │
└───────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
SELECT partition
FROM system.parts
WHERE table LIKE 'trades'
LIMIT 10

┌─partition─┐
│ 201707    │
│ 201707    │
│ 201707    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201708    │
│ 201709    │
│ 201709    │
└───────────┘
а ну это парты, я не понял что запрос без group by database, table, partition
источник

A

Artem in ClickHouse не тормозит
после optimize final теоретически они должны схлопнуться до уникальных значений или на это расчитывать не стоит?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
после optimize final теоретически они должны схлопнуться до уникальных значений или на это расчитывать не стоит?
теоритически optimize final может схлопнуть если места хватит ему начаться и мержи не блокированы чем-то другим
источник

CO

Chern Oleksander in ClickHouse не тормозит
а не подскажите как можно оптимизировать такой срипт
select ub.user_id,
      ub.created_date,
      cast(JSONExtractRaw(JSONExtractRaw(ub.details, 'game'), 'id') as int)       id,
      cast(JSONExtractRaw(JSONExtractRaw(ub.details, 'game'), 'name') as varchar) name_game,
      ub.amount
from user_balance ub
where
--       ub.user_id = 1 and
   ub.reason = 'bet'
 and created_date >= '2020-09-01 00:00:01'
не
могу выгрузить ((
источник