NT
Смерть данных - не страшно особо
Size: a a a
2021 January 09
SC
Думаю около 15-20MBPS в пик
Это сжатых или сырых?
NT
Это сжатых или сырых?
Сырых
SC
Ну это копейки вообще
SC
Можно и хдд
SC
На ssd, правда, приятнее читать будет
GK
при больших объемах данных на рейдах из хдд (>1TB полезных данных), при выходе диска из строя - умрете на ребилде =)
можно использовать raid0 и не страдать
DP
можно использовать raid0 и не страдать
ну да, только въезжать диски будут все равно - и это в любом случае будет либо долго, либо влиять на производительность. 🙂
DP
Смерть данных - не страшно особо
если нестрашно и 20МБ сырых - то смело ставьте хдд и не парьтесь.
n🐈
так говорите как будто ссд при ребилде не деградируют по скорости)
s
можно использовать raid0 и не страдать
Нечасто увидишь "raid0" и "не страдать" в одном предложении
GK
Нечасто увидишь "raid0" и "не страдать" в одном предложении
потому что не так распространен raid0, соответственно утверждения встречаются редко :)
DP
все деградирует, даже нвме 🙂 тут вопрос, скорее, что когда выбирают хдд - обычно думают только о нормальном режиме работы, про условный дегрейд режим и восстановление после него - не думают, а обычно запаса производительности у хдд уже не хватает. и в итоге у всех шок, что "база будет тормозить еще N дней, потому что меняется диск" 🙂
DM
База без реплик = данные не нужны ;)
D
База без реплик = данные не нужны ;)
"replication is not backup"...
DM
Я и не говорил что бэкап не нужен, впрочем
e
Разумный ли подход : хочу обсчитывать данные , которые лежат в кластере CH возвращать в CH. Новую порцию лить в свежую таблицу и подменивать партицию в исходной. Планирую использовать Apache Spark для расчетов . * нет никаких идей как это лучше приготовить?)
VN
Разумный ли подход : хочу обсчитывать данные , которые лежат в кластере CH возвращать в CH. Новую порцию лить в свежую таблицу и подменивать партицию в исходной. Планирую использовать Apache Spark для расчетов . * нет никаких идей как это лучше приготовить?)
Делали так раньше. Запускали на airflow pyspark. В clickhouse можно использовать ReplacingMergeTree если подходит
2021 January 10
DC
при больших объемах данных на рейдах из хдд (>1TB полезных данных), при выходе диска из строя - умрете на ребилде =)
да ладно. Годами все работает на hdd
df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/md0 46T 38T 7.8T 83% /
DP
да ладно. Годами все работает на hdd
df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/md0 46T 38T 7.8T 83% /
Умрете - я не про потерю данных, а про сам синк и перформанс. У меня у самого примерно такие же цифры, достаточно интенсивный регулярный поток без пиков и поэтому замена дисков затягивается :)