Size: a a a

SDS и Кластерные FS

2021 March 01

NS

Nik Sh in SDS и Кластерные FS
Andrey Perminov
Какой ext4? Даже zfs так себе с такими объемами
такой себе пример, zfs тот еще тормоз по сравнению с ext4 и xfs. cow он не может быть без падения производительности. У меня есть сетап с 100кк файлов на xfs - все норм. Есть 2кк на cephfs - тоже норм.
источник

as

al ss in SDS и Кластерные FS
Andrey Perminov
А гластер у меня на одном сетапе на 300 гигах и 2 серверах с репликой в локалке работает как говно
Да, такое тоже бывает - если активно читается-пишется
источник

AP

Andrey Perminov in SDS и Кластерные FS
Не активно
источник

AP

Andrey Perminov in SDS и Кластерные FS
Вообще редко читают и пишут
источник

AP

Andrey Perminov in SDS и Кластерные FS
Файлопомойка под документооборот в офисе на 20 человек
источник

AP

Andrey Perminov in SDS и Кластерные FS
И эта гавнина работает так, что хочется тупо её разобрать и больше не вспоминать
источник

NS

Nik Sh in SDS и Кластерные FS
тут реально я бы начал с csync2(ну или что там на винде есть аналогичного), чем проще тем лучше. Если не устроит - можно уже тогда городить кластера
источник

AP

Andrey Perminov in SDS и Кластерные FS
У сивида кстати даже бинарник под винду есть
источник

AV

Alexey Vasilyev in SDS и Кластерные FS
Nik Sh
такой себе пример, zfs тот еще тормоз по сравнению с ext4 и xfs. cow он не может быть без падения производительности. У меня есть сетап с 100кк файлов на xfs - все норм. Есть 2кк на cephfs - тоже норм.
ZFS только не cow
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
Nik Sh
тут реально я бы начал с csync2(ну или что там на винде есть аналогичного), чем проще тем лучше. Если не устроит - можно уже тогда городить кластера
Да че там syncthing и поехали =)
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
только думаю от мелких файлов и ему плохо будет
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
Кстати а в винде живое еще DFS Replication ? :)
источник

NS

Nik Sh in SDS и Кластерные FS
Vladimir Zhurkin
Да че там syncthing и поехали =)
ну csync2 более менее переваривает 2кк, у меня бы сетап.
источник

as

al ss in SDS и Кластерные FS
Nik Sh
тут реально я бы начал с csync2(ну или что там на винде есть аналогичного), чем проще тем лучше. Если не устроит - можно уже тогда городить кластера
ну нет. при сбое где брать файло которое не синкнулось?
источник

NS

Nik Sh in SDS и Кластерные FS
al ss
ну нет. при сбое где брать файло которое не синкнулось?
ну да, тут теряется, но для некоторых приложений - это приемлемо, если для вас нет. Тогда только кластера в синхронном режиме.
источник

as

al ss in SDS и Кластерные FS
Nik Sh
ну да, тут теряется, но для некоторых приложений - это приемлемо, если для вас нет. Тогда только кластера в синхронном режиме.
Ок. Я тока за. Что применить?
источник

AP

Andrey Perminov in SDS и Кластерные FS
По-моему тебе вариантов накидали
источник

AP

Andrey Perminov in SDS и Кластерные FS
Изучай
источник

c

cloud_tg_captcha_bot in SDS и Кластерные FS
User didn't pass the validation and was banned.
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Кто-нибудь пробовал?
https://github.com/seaweedfs/seaweedfs-csi-driver
источник