Size: a a a

SDS и Кластерные FS

2020 December 26

AP

Andrey Perminov in SDS и Кластерные FS
еще раз повторю, критические данные я бы туда не сувал, стремно, но возобновляемые вроде норм тянет
источник

DS

Dmitry Sergeev in SDS и Кластерные FS
Andrey Perminov
свой протокол, s3 и fuse mount
Ну вроде реализаций хватает для своего протокола. https://github.com/chrislusf/seaweedfs/wiki/Client-Libraries
Прикольно.
То есть кейс append only и частые чтения отлично подходит под него?
источник

AP

Andrey Perminov in SDS и Кластерные FS
в нашем кейсе вроде неплохо живет
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Мне надо собрать S3 c (авто)фейловером между дц. По minio выяснил, что репликация active-active требует включения erasure coding, а хотелось без черных ящиков (чтобы rsync в случае проблем).
Сейчас у меня 1tb и drbd8 и линк сносный (но 100мб файлы успевают забить буфер).
Хотелось бесшовного фейловера. Файлы всегда целиком кладутся/достаются. Размер файлов 100кб-100мб.
Еще есть идея minio + lsyncd/rsync в обе стороны.
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Dmitry Vylegzhanin
Мне надо собрать S3 c (авто)фейловером между дц. По minio выяснил, что репликация active-active требует включения erasure coding, а хотелось без черных ящиков (чтобы rsync в случае проблем).
Сейчас у меня 1tb и drbd8 и линк сносный (но 100мб файлы успевают забить буфер).
Хотелось бесшовного фейловера. Файлы всегда целиком кладутся/достаются. Размер файлов 100кб-100мб.
Еще есть идея minio + lsyncd/rsync в обе стороны.
Нагрузка небольшая.
Сейчас там специфичная для приложения хранилка - напрягает время восстановления данных (только целиком) по имеющемуся линку (20h+)
Стоит заморачиваться с чем-то еще?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Dmitry Vylegzhanin
Нагрузка небольшая.
Сейчас там специфичная для приложения хранилка - напрягает время восстановления данных (только целиком) по имеющемуся линку (20h+)
Стоит заморачиваться с чем-то еще?
Цеф? =))
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Зато точно гарантия что все транзакционно
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
неее, после дрбд это рокет сайенс, плюс у меня всего 2 машинки в разных дц
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Машинерии много но зато целостность
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
А дрбд8 нетранзакционный
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Не говоря уже об lsyncd
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Дрбд9 вот типа транзакционный условно
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Там сейчас с имеющеся (полусамописной) хранилкой в приложении всё плохо (мета не соответствует наличию файлов + кривые локи), поэтому даже rsync кажется решением лучше, после того как поддержку S3 допилят в приложении...
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Виталий На Заборе
Не говоря уже об lsyncd
Речь про синхронность/согласованность нод? Рсинк загружает во временный файл и ренейм делает, по идее половину файла увидеть нельзя
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Если minio делает так же, то по идее видно или загруженный файл или его отсутствие
источник

S

Sergey in SDS и Кластерные FS
kvaps
У него по прежнему один разработчик?)
Зачастую когда один разработчик проект пилится и даже работает)
источник

k

kvaps in SDS и Кластерные FS
Sergey
Зачастую когда один разработчик проект пилится и даже работает)
Ну тут вопрос не в том что оно работает, а вопрос скорее в том что делать если он его пилить перестанет
источник

S

Sergey in SDS и Кластерные FS
kvaps
Ну тут вопрос не в том что оно работает, а вопрос скорее в том что делать если он его пилить перестанет
Сдохнет и проект, если нах никому, реально, не нужен будет, побочка опенсорса и проектов, за которыми нет толстосумов
источник

S

Sergey in SDS и Кластерные FS
В бизнесе это называется управление рисками
источник

c

cloud_tg_captcha_bot in SDS и Кластерные FS
User didn't pass the validation and was banned.
источник