айс, но далеко не под всё подряд и нюансов много
на первый взгляд цеф просто выглядит как серебряная пуля, но это не так
не, если у тебя сеть 10г внутри дц и в районе гигабита между дц, вменяемые пинги, нормальные диски, нет глупостей типа rook, istio или ceph поверх zfs, и общение между дц только через тиринг (т.е. два пула, один тут другой там) то может взлететь, довольно интересный кейс для тиринга на самом деле

может и не взлететь - в смысле быть слишком медленным. в частности нужно понять где у тебя будет mds и мета, вообще в cephfs её надо на ссд почти всегда

если разместишь mds удалённо - будет медленное обращение к mds, если разместишь локально а мету удалённо - будет медленная работа с метой, если всё локально - то вроде как целостность cephfs зависит от локальной стороны, если сделаешь для меты смесь из локальных и удалённых ссд - будет кросс дц репликация, тоже хз что будет. но может и нормально всё будет

делать всё это на уровне приложения - в принципе - разумнее. но если всё что выше соблюдать то теоретически можно завести и на цефе попытаться

вобщем, мы наверно попробуем как-то так, нальем все данные на все сервера, сделаем mirror трафик на них чтобы имитировать реальную нагрузку, поотрубаем какие-то ноды и посмотрим как оно выживает. еще надо потестить будет всякие обновления мажорных версий

про отрубание нод - сразу - ты же осознаёшь что при size=3 minsize=2 оно переживает без даунтайма только потерю 1 сервера?

а без потери данных - только 2 любых

из общего числа

т.е. если у тебя 15 серверов и ты вырубил из них 2 - то при 3/2 даунтайм. если убил из них 3 - то 3/2 потеря ВСЕХ данных

т.к. все данные равномерно рандомно размазаны по всем дискам, и есть только 3 копии любого блока данных, и с 99% вероятностью какие-то блоки данных попадут на потерянные 3 сервера

это да, я читал и еще очевидно перечитаю несколько раз

в любом случае будет бэкап

и возможность с него отдавать данные когда ceph лежит

объясните мне пожалуйста, почему весь чатик ceph-а обсуждает уже полдня проблему, которая решается обычным блин скриптом?

потому что обсуждаем более инновационное решение чем просто скрипт

=))

а оно нужно? виндовых админов теряющих данные мало было?

админить это потом кто будет? вон выше Капитула скидывал расценки на администрирования ceph

виндовых было достаточно. не-виндовых ещё нет 😊 но если убрать все смузи-технологии то данные-то оно вряд ли потеряет

на самом деле интересный кейс для тиринга

между двумя дц? на хецнере? с тирингом?