DC
не воспроизводится зависание, есть какая-то хитрость видимо
https://gist.github.com/den-crane/008b9be1ce88bd0e0912a9a7d2933f29
может в момент alter идет мерж и alter зависает на очень долго, ожидая мержа?
Size: a a a
2020 August 10
ИМ
Кто то в комментах отписал о том, что он обновился на новую версию и версии ttl отличаются от прежних и это возможно привело к проблеме
ИМ
Какой мог быть "старый" (20.1) синтаксис alter ttl? И какой новый сейчас (20.5)? toIntervalDay() который у меня сейчас вроде был и есть без изменений
PA
Коллеги, приветствую! Пожалуйста, подскажите какие ресурсы для кликхауса нужны чтобы отправлять в него 2,5-3Тб логов в сутки?
DT
Коллеги, приветствую! Пожалуйста, подскажите какие ресурсы для кликхауса нужны чтобы отправлять в него 2,5-3Тб логов в сутки?
А в какой форме то логи, денормализованы?
Сколько собираетесь хранить?
Сколько собираетесь хранить?
PA
А в какой форме то логи, денормализованы?
Сколько собираетесь хранить?
Сколько собираетесь хранить?
Очень хороший вопрос. Пока только в голове)
Предполагается, что под каждый тип приложения будет отдельная таблица. Грубо, 20 типов приложений = 20 таблиц. Но это не точно.
Предполагается, что под каждый тип приложения будет отдельная таблица. Грубо, 20 типов приложений = 20 таблиц. Но это не точно.
DT
Очень хороший вопрос. Пока только в голове)
Предполагается, что под каждый тип приложения будет отдельная таблица. Грубо, 20 типов приложений = 20 таблиц. Но это не точно.
Предполагается, что под каждый тип приложения будет отдельная таблица. Грубо, 20 типов приложений = 20 таблиц. Но это не точно.
В зависимости от данных они могут сжиматься хоть в 10-20 раз а могут и гораздо хуже, лучший способ проверить это получить объем для одной партиции и посмотреть как они сожмутся.
ИМ
Кстати ещё вопросец, что можно сделать при залипших репликациях? В логах очень много
Code: 86, e.displayText() = DB::Exception: Received error from remote server ?endpoint=DataPartsExchange%3A%2Fclickhouse%2Fcluster_1%2Ftables%2F0%2Ftcb%2Fuser_events_local%2Freplicas%2Fch2&part=20200721_749_749_0&client_protocol_version=2&compress=false. HTTP status code: 500 Internal Server Error, body: Code: 232, e.displayText() = DB::Exception: No part 20200721_749_749_0 in table, Stack trace (when copying this message, always include the lines below):
DC
Кто то в комментах отписал о том, что он обновился на новую версию и версии ttl отличаются от прежних и это возможно привело к проблеме
это про старый синтаксис создания таблиц, устаревший 3 года назад. К ним вообще не применим TTL, но alter по ошибке срабатывал на них.
DC
Коллеги, приветствую! Пожалуйста, подскажите какие ресурсы для кликхауса нужны чтобы отправлять в него 2,5-3Тб логов в сутки?
если селекты не делать, то что угодно, тупо записать 3 TB на диск в сутки не проблема.
DC
Кстати ещё вопросец, что можно сделать при залипших репликациях? В логах очень много
Code: 86, e.displayText() = DB::Exception: Received error from remote server ?endpoint=DataPartsExchange%3A%2Fclickhouse%2Fcluster_1%2Ftables%2F0%2Ftcb%2Fuser_events_local%2Freplicas%2Fch2&part=20200721_749_749_0&client_protocol_version=2&compress=false. HTTP status code: 500 Internal Server Error, body: Code: 232, e.displayText() = DB::Exception: No part 20200721_749_749_0 in table, Stack trace (when copying this message, always include the lines below):
удалять из зукипера
YY
Коллеги, приветствую! Пожалуйста, подскажите какие ресурсы для кликхауса нужны чтобы отправлять в него 2,5-3Тб логов в сутки?
А что вы делаете с таким объемом логов потом? Как используете эти данные?
ИМ
удалять из зукипера
Ого. Если это единственный способ, то чтож... таков путь)
ИМ
Спасибо, буду копать дальше. Или ломать) Как пойдёт
DC
Ого. Если это единственный способ, то чтож... таков путь)
вы слишком размыто описываете проблему
https://github.com/ClickHouse/ClickHouse/issues/10368
можно detach partition / attach partition , но реплики перекачают полностью данные
https://github.com/ClickHouse/ClickHouse/issues/10368
можно detach partition / attach partition , но реплики перекачают полностью данные
pk
Коллеги, приветствую! Пожалуйста, подскажите какие ресурсы для кликхауса нужны чтобы отправлять в него 2,5-3Тб логов в сутки?
просто писать 100Мб в секунду это не проблема, хоть в один сервер, если вы синкаете реплику например, то и быстрее можно.
ИМ
вы слишком размыто описываете проблему
https://github.com/ClickHouse/ClickHouse/issues/10368
можно detach partition / attach partition , но реплики перекачают полностью данные
https://github.com/ClickHouse/ClickHouse/issues/10368
можно detach partition / attach partition , но реплики перекачают полностью данные
Это в теории может помочь, попробую детач атач
DC
Это в теории может помочь, попробую детач атач
это не в теории, это фактически пересоздание всей таблицы (партиции)
PA
А что вы делаете с таким объемом логов потом? Как используете эти данные?
В основном планируется хранить, чтение очень редкое. То есть планируется использовать в качестве колд-хранилища логов, для хот - эластик.