о каких объемах данных идет речь, напомните плз?

120тб и где-то 20гигов новых в день

а. кстати. сколько ты там говорил серверов-то? 15*8 ТБ? а реплики?

если 3 реплики то надо 15*8 ТБ*3

это с репликой

бэкап отдельно

2 реплики

не, мультиДЦ через тиринг идея интересная

если есть потестить то потести, ага

Интересная != production ready

а если взять minio + Goofys для имитации файлов+ catfs для того чтобы был кеш локальный то production ready?)

Catfs is ALPHA software. Don't use this if you value your data.

Goofys consistency model is close-to-open

интересно что значит close-to-open

может вот это

fsync is ignored, files are only flushed on close

Catfs is ALPHA software. Don't use this if you value your data.

Goofys consistency model is close-to-open

что люди только не сделают чтоб не использовать nfs )

https://google.gik-team.com/?q=nfs+cachefs

вот предположим есть приложение в питере на 5 машинах в репликах, сохраняет локально файлы, по другому запросу преобразует их, по третьему объединяет и отдает, дальше надо это все увести в большое хранилище в германию и иметь точно такой же доступ чуть реже. как реализовать чтобы cachefs тянуло файл с соседнего сервера с другой cachefs а не с nfs  с германии? биндить каждого клиента к конкретной ноде очень не хочется, плюс часто читает файл не тот кто записал.

Нфс вне рамок чата?

Нам нужно звать Цефтуриона?

Про него не рассказывают. Это такая городская легенда, как удаленные ВМ в яндекс-облаке 🙂

неделю назад у РТ на стыке с telia sonera были проблемы. Пинг из хельсинки и нюрнберга был 600-900мс.
Не знаю как на такой сети сможет ceph работать.

Запустил fio на все диски 🙂