M
да. Вам стоит разобраться все же как КХ работает
дак падает не кх, а зукипер
Size: a a a
2021 January 25
DC
дак падает не кх, а зукипер
ну естественно, это все понятно
КТ
плюсую... пытался найти у себя больше, самое большое нашел 5К на 40 терах (все таблицы на одной тачке)
КТ
отсюда видимо и такой огромный ЗК )))
r
ну так она неправильно считается в 20.4.4
это же замечательно! Будем обновляться
G
Партиционирование какое ?
DC
в ZK есть safe-limiter на znode >1MB
M
плюсую... пытался найти у себя больше, самое большое нашел 5К на 40 терах (все таблицы на одной тачке)
у мну там есь корявая табличка созданная на коленке, весит пару гигов всего)
на ттабличке с 15ккк около 4к всего
ну ладно
на ттабличке с 15ккк около 4к всего
ну ладно
DC
ZK не валится, просто срабатывает лимит
КТ
в ZK есть safe-limiter на znode >1MB
гхм... 1 мб
50К партов
так это же как раз 50 гиг
50К партов
так это же как раз 50 гиг
M
спасибо, починю тогда табличку)
DC
гхм... 1 мб
50К партов
так это же как раз 50 гиг
50К партов
так это же как раз 50 гиг
я не вам пишу это.
1MB это размер транзакции про мутацию при alter table
1MB это размер транзакции про мутацию при alter table
КТ
простите, влез без спросу, не красиво. виноват, отстал
DC
у мну там есь корявая табличка созданная на коленке, весит пару гигов всего)
на ттабличке с 15ккк около 4к всего
ну ладно
на ттабличке с 15ккк около 4к всего
ну ладно
ну переделайте таблицу insert select. В новой таблице сделайте нормальный partition by
M
ну переделайте таблицу insert select. В новой таблице сделайте нормальный partition by
да, я здесь уже спрашивал совета на эту тему) Спасибо огромное!
DC
простите, влез без спросу, не красиво. виноват, отстал
какая версия КХ у вас?
сколько шардов / реплик у вас?
вы как удаляете старые ноды КХ? drop table ?
сколько шардов / реплик у вас?
вы как удаляете старые ноды КХ? drop table ?
КТ
В основном на 19.17.9.60 кластера, переход на 20.8.8.2 в процессе, но таких пока мало.
фактор репликации 3, к сожалению не сверившись с трудовым договором побаиваюсь сильно точные цифры называть - порядок - сотня (машин, под завязку хардами забитых)
никак не удаляем. это исторические данные и они нужные.
в случае окончательного отказа машины со всеми дисками rmtree по пути в зукипере этой реплики
фактор репликации 3, к сожалению не сверившись с трудовым договором побаиваюсь сильно точные цифры называть - порядок - сотня (машин, под завязку хардами забитых)
никак не удаляем. это исторические данные и они нужные.
в случае окончательного отказа машины со всеми дисками rmtree по пути в зукипере этой реплики
r
Посоветуйте версию) почему-то 20.8 в чате советуют, а вон она 20.12 и даже 21
pk
20.8 это последний lts
pk
а так берите любую, Леша обычно рекомендует последнюю.