Size: a a a

ClickHouse не тормозит

2021 January 22

D

Dj in ClickHouse не тормозит
а что-то мешает делать партишн прунинг при alter table .... where partitionkey=expression

https://youtu.be/BhvxV3ZLIhk?t=1387

как бы куда логичней это делать по умолчанию (как при запросах)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
а что-то мешает делать партишн прунинг при alter table .... where partitionkey=expression

https://youtu.be/BhvxV3ZLIhk?t=1387

как бы куда логичней это делать по умолчанию (как при запросах)
проблема не в прунинге.

кажется проблема в консистентности резульатата мутации при рестарте мутации, уже не помню почему но обязательно должны мутировать все парты таблицы.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
т.е. это сделано специально, было бы намного проще мутировать только нужные парты которые найдены прунингом, но так делать нельзя
источник

D

Dj in ClickHouse не тормозит
ок, осталось в базу сеттинг привинтить force_inpartition_for_mutations

а то уже 2 раза так было, по умолчанию все думают что where datetime='xx' работает Т.Т
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну реально delete in partition нужен только чтобы меньше хардликов создавалось и меньше лопатилось в zk.
ну т.е. мне поможет, потому что у меня партиций до хрена из-за partition by (toYYYYMM , tenant)
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
спасибо большое, сейчас соберём
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Viacheslav Nefedov
спасибо большое, сейчас соберём
смержно в девелоп ветку, новый ментенер большой затейник
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
что-то давно не релизились
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
там не было ментенера
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну реально delete in partition нужен только чтобы меньше хардликов создавалось и меньше лопатилось в zk.
ну т.е. мне поможет, потому что у меня партиций до хрена из-за partition by (toYYYYMM , tenant)
а он их не перезаписывает полностью даже когда не надо ни одну строку трогать?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
а он их не перезаписывает полностью даже когда не надо ни одну строку трогать?
хардилинки создает
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
хардилинки создает
хз, кто-то недавно запустил, день второй был, все ещё шло... может из-за зк
источник

D

Dj in ClickHouse не тормозит
ohoho - projections в roadmap :) где-то плачет микрофокус..
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
сомневаюсь, это немного не то

https://github.com/ClickHouse/ClickHouse/issues/14730

ну либо я совсем не понимаю как работают projections в вертике
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
мне казалось что в projections в вертике разное кол-во кусков и мержатся они отдельно
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
сомневаюсь, это немного не то

https://github.com/ClickHouse/ClickHouse/issues/14730

ну либо я совсем не понимаю как работают projections в вертике
да судя по RFC это скорее встроенные materialized view на уровне кусков, ну даже лучше в эксплуатации
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
наверное получится сделать LAP в которых можно будет update/delete делать
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
что там в современной вертике можно таблицы с LAP менять update-м ?
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
мне казалось что в projections в вертике разное кол-во кусков и мержатся они отдельно
да в вертике можно табличный projection иметь (типа топ 5), тут не получится
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
что там в современной вертике можно таблицы с LAP менять update-м ?
я ЛАП только на слайдах видел, не знаю че там можно, но вот всякие вещи типа последние ХХХ строк, или Топ-Н точно можно
источник