k
а если обновляться на .15 напрямую с .9 - проблем схватить не должен?
Можно на 11
Size: a a a
2020 December 05
k
а то я помню пару неделю назад писали про странное поведение .15 версии. почему то поиском не могу найти быстро
Либо на 15. Будет ок.
k
Но не на промежуточных соответственно
DP
Но не на промежуточных соответственно
благодарю - попробую прыгнуть на 15 тогда сразу
2020 December 06
Am
благодарю - попробую прыгнуть на 15 тогда сразу
На 15 проблем не было тут пока
Am
Были на 12,13,14
Am
Правда у меня рбд нет, что для тебя важно
А🐎
Я тут видосик на ютупе смотрел и там ваще ни слова про частоту в расчетах для nvme, https://www.youtube.com/watch?v=daNoen1fV40
В конфиге используют платинум 8180 частотой 2.5Ггц, 7 ssd intel p4700+intel optane p4800x(под wal)
В конфиге используют платинум 8180 частотой 2.5Ггц, 7 ssd intel p4700+intel optane p4800x(под wal)
DP
Правда у меня рбд нет, что для тебя важно
не, этот кластер как раз под ргв
DO
15 только в контейнерах работаете ?
Am
15 только в контейнерах работаете ?
Нет
DO
А есть мануал не с боков цеф ? Он там конченый и не структурированный
Am
А есть мануал не с боков цеф ? Он там конченый и не структурированный
Ну у редхата еще есть мануал и у сусе можешь посмотреть, в интернетах вообще много всего :)
DO
Ну у редхата еще есть мануал и у сусе можешь посмотреть, в интернетах вообще много всего :)
Мне казалось я уже много где чего пересмотрел. Вы говорите о редхате - нужно быть членом комюнити ?
Am
Мне казалось я уже много где чего пересмотрел. Вы говорите о редхате - нужно быть членом комюнити ?
2020 December 07
DR
Всем доброго дня, может подскажет кто
Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.
Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?
Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.
Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?
AG
Всем доброго дня, может подскажет кто
Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.
Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?
Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.
Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?
rgw пилит s3 объекты на rados объекты размером не больше заданного, по дефолту вроде 4М
в итоге получается head-объект с манифестом в xattr-ах и хвост из цепочки shadow объектов
multipart - файл делится на парты на стороне клиента и может заливаться параллельно, вроде пока не закончится загрузка в S3 видны multipart объекты (но это не точно), а в конце одним запросом они объединяется в один S3 объект
при удалении rgw удаляет только head объект, а остальные отправляет оставляет для Garbage Collector
при удалении мультипарар S3 объекта я хз, но вроде то-же самое, т.е. удаялются все multipart head объекты, а все shadow остаются для GC
в итоге получается head-объект с манифестом в xattr-ах и хвост из цепочки shadow объектов
multipart - файл делится на парты на стороне клиента и может заливаться параллельно, вроде пока не закончится загрузка в S3 видны multipart объекты (но это не точно), а в конце одним запросом они объединяется в один S3 объект
при удалении rgw удаляет только head объект, а остальные отправляет оставляет для Garbage Collector
при удалении мультипарар S3 объекта я хз, но вроде то-же самое, т.е. удаялются все multipart head объекты, а все shadow остаются для GC
DR
Спасибо, а gc запускаться должен самостоятельно кластером? или ручками через radosgw-admin gc process?
AG
Спасибо, а gc запускаться должен самостоятельно кластером? или ручками через radosgw-admin gc process?
да, это отдельный поток в rgw, смотри опции конфига rgw_*gc_*
но их вроде не надо править, оно и так работает
но их вроде не надо править, оно и так работает
AG
Спасибо, а gc запускаться должен самостоятельно кластером? или ручками через radosgw-admin gc process?
эта команда запускает просто еще один такой поток