Size: a a a

SDS и Кластерные FS

2021 February 05

МК

Марк ☢️ Коренберг... in SDS и Кластерные FS
Ладно. Уговорили
источник

SM

Stanislav Motriy in SDS и Кластерные FS
И хуета ещё
источник

A

A1EF in SDS и Кластерные FS
Источник для интересующихся:
http://brendangregg.com/blog/2008-12-31/unusual-disk-latency.html
источник
2021 February 06

AZ

Alexey Zakharov in SDS и Кластерные FS
источник

AT

Alex Tkachuk in SDS и Кластерные FS
Что то мне подсказывает что виноват не столько звук, сколько некоторые иные факторы, например резкий перепад давления из-за выброса газа.
источник

s

sexst in SDS и Кластерные FS
Alex Tkachuk
Что то мне подсказывает что виноват не столько звук, сколько некоторые иные факторы, например резкий перепад давления из-за выброса газа.
В некоторых удачных системах при спуске газа свист стоит такой, что слух вырубается. Натурально за порогом болевых ощущений, никакая сирена не нужна. Так что вполне правдоподобно.
источник

AT

Alex Tkachuk in SDS и Кластерные FS
300 бар так то в некоторых, там не то что свист, там хлопок-недовзрыв будет.
источник

A

Alex in SDS и Кластерные FS
Alex Tkachuk
Что то мне подсказывает что виноват не столько звук, сколько некоторые иные факторы, например резкий перепад давления из-за выброса газа.
Так наебывались у нас в дц сервера мейлсру когда зимой открывали двери на улицу проветрить.
источник

V0

Vlad 0xd728c4a7cd55d... in SDS и Кластерные FS
Привет, сорри за лонгрид, у меня вопрос очень похожий на https://qna.habr.com/q/751879
как лучше сделать асинхронную репликацию по медленной (200mbit, 40ms) сети?
входные:
- proxmox, zfs, 2 (две) ноды
- на мастер запись в среднем не очень активна, догнаться оно сможет, но до "онлайна" сети далеко
- вторая нода "теплая" и для read only, (где так может приклад)
- как по ссылке уместно заметили в комментах, базу (pg) реплицирую сам ее нативным способом, ручной фейловер ок
- т.е. при отвале мастера: убеждаемся что состояние бд устраивает, промоут, запуск того, что не могло в ro на реплике, рестарт остального в rw
- при подьеме мастера, если уже запромотили - сделать теперь его "теплой" репликой
- сами виртуалки stateless, стейт в.minio и pg
- если при отвале что-то не доехало до minio - приемлемо, (и вообще туда пишется сильно реже чем в бд)
- короче главное: чтобы в нормальном режиме мастера latency на запись не страдала (nvme)

и вопросы
- я правильно понимаю, что ceph не годится?
- пишут что minio cluster может read с m/2 servers, но write m/2+1 :(
- DRBD AHEAD/BEHIND?
- или руками наколхозить zfs send/receive очень частый, но максимум 1 в момент времени? а потом в обратную сторону?!
- кто-нибудь знает что-то про https://github.com/schoebel/mars (ссылка из оригинального вопроса)?
- на 2х нодах с тупой сетью есть жизнь?
- о, в истории чата нашел интересное dRAID on zfs https://github.com/openzfs/zfs/pull/10102 (но это же про другое?)
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Vlad 0xd728c4a7cd55d8db
Привет, сорри за лонгрид, у меня вопрос очень похожий на https://qna.habr.com/q/751879
как лучше сделать асинхронную репликацию по медленной (200mbit, 40ms) сети?
входные:
- proxmox, zfs, 2 (две) ноды
- на мастер запись в среднем не очень активна, догнаться оно сможет, но до "онлайна" сети далеко
- вторая нода "теплая" и для read only, (где так может приклад)
- как по ссылке уместно заметили в комментах, базу (pg) реплицирую сам ее нативным способом, ручной фейловер ок
- т.е. при отвале мастера: убеждаемся что состояние бд устраивает, промоут, запуск того, что не могло в ro на реплике, рестарт остального в rw
- при подьеме мастера, если уже запромотили - сделать теперь его "теплой" репликой
- сами виртуалки stateless, стейт в.minio и pg
- если при отвале что-то не доехало до minio - приемлемо, (и вообще туда пишется сильно реже чем в бд)
- короче главное: чтобы в нормальном режиме мастера latency на запись не страдала (nvme)

и вопросы
- я правильно понимаю, что ceph не годится?
- пишут что minio cluster может read с m/2 servers, но write m/2+1 :(
- DRBD AHEAD/BEHIND?
- или руками наколхозить zfs send/receive очень частый, но максимум 1 в момент времени? а потом в обратную сторону?!
- кто-нибудь знает что-то про https://github.com/schoebel/mars (ссылка из оригинального вопроса)?
- на 2х нодах с тупой сетью есть жизнь?
- о, в истории чата нашел интересное dRAID on zfs https://github.com/openzfs/zfs/pull/10102 (но это же про другое?)
Ответили хорошо, drbd-proxy, доставка снапшотов по расписанию или предпочтительнее на мой взгляд - репликация на уровне приложения (pg streaming replica, rsync/lsyncd/... Для minio).
На блочном уровне требуется строгая консистентность, бд постоянно синкает данные на диск - переход к специализированному решению под задачу - уменьшит трафик, позволит сжатие, разобьёт домен отказа на меньшие части.
источник

k

kvaps in SDS и Кластерные FS
Vlad 0xd728c4a7cd55d8db
Привет, сорри за лонгрид, у меня вопрос очень похожий на https://qna.habr.com/q/751879
как лучше сделать асинхронную репликацию по медленной (200mbit, 40ms) сети?
входные:
- proxmox, zfs, 2 (две) ноды
- на мастер запись в среднем не очень активна, догнаться оно сможет, но до "онлайна" сети далеко
- вторая нода "теплая" и для read only, (где так может приклад)
- как по ссылке уместно заметили в комментах, базу (pg) реплицирую сам ее нативным способом, ручной фейловер ок
- т.е. при отвале мастера: убеждаемся что состояние бд устраивает, промоут, запуск того, что не могло в ro на реплике, рестарт остального в rw
- при подьеме мастера, если уже запромотили - сделать теперь его "теплой" репликой
- сами виртуалки stateless, стейт в.minio и pg
- если при отвале что-то не доехало до minio - приемлемо, (и вообще туда пишется сильно реже чем в бд)
- короче главное: чтобы в нормальном режиме мастера latency на запись не страдала (nvme)

и вопросы
- я правильно понимаю, что ceph не годится?
- пишут что minio cluster может read с m/2 servers, но write m/2+1 :(
- DRBD AHEAD/BEHIND?
- или руками наколхозить zfs send/receive очень частый, но максимум 1 в момент времени? а потом в обратную сторону?!
- кто-нибудь знает что-то про https://github.com/schoebel/mars (ссылка из оригинального вопроса)?
- на 2х нодах с тупой сетью есть жизнь?
- о, в истории чата нашел интересное dRAID on zfs https://github.com/openzfs/zfs/pull/10102 (но это же про другое?)
У прокса же есть нативная zfs-репликация, ничего колхозить не надо
источник

k

kvaps in SDS и Кластерные FS
Vlad 0xd728c4a7cd55d8db
Привет, сорри за лонгрид, у меня вопрос очень похожий на https://qna.habr.com/q/751879
как лучше сделать асинхронную репликацию по медленной (200mbit, 40ms) сети?
входные:
- proxmox, zfs, 2 (две) ноды
- на мастер запись в среднем не очень активна, догнаться оно сможет, но до "онлайна" сети далеко
- вторая нода "теплая" и для read only, (где так может приклад)
- как по ссылке уместно заметили в комментах, базу (pg) реплицирую сам ее нативным способом, ручной фейловер ок
- т.е. при отвале мастера: убеждаемся что состояние бд устраивает, промоут, запуск того, что не могло в ro на реплике, рестарт остального в rw
- при подьеме мастера, если уже запромотили - сделать теперь его "теплой" репликой
- сами виртуалки stateless, стейт в.minio и pg
- если при отвале что-то не доехало до minio - приемлемо, (и вообще туда пишется сильно реже чем в бд)
- короче главное: чтобы в нормальном режиме мастера latency на запись не страдала (nvme)

и вопросы
- я правильно понимаю, что ceph не годится?
- пишут что minio cluster может read с m/2 servers, но write m/2+1 :(
- DRBD AHEAD/BEHIND?
- или руками наколхозить zfs send/receive очень частый, но максимум 1 в момент времени? а потом в обратную сторону?!
- кто-нибудь знает что-то про https://github.com/schoebel/mars (ссылка из оригинального вопроса)?
- на 2х нодах с тупой сетью есть жизнь?
- о, в истории чата нашел интересное dRAID on zfs https://github.com/openzfs/zfs/pull/10102 (но это же про другое?)
Но вообще в вашем юзкейсе не нужна никакая кластерная фс и это прекрасно😉
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
Vlad 0xd728c4a7cd55d8db
Привет, сорри за лонгрид, у меня вопрос очень похожий на https://qna.habr.com/q/751879
как лучше сделать асинхронную репликацию по медленной (200mbit, 40ms) сети?
входные:
- proxmox, zfs, 2 (две) ноды
- на мастер запись в среднем не очень активна, догнаться оно сможет, но до "онлайна" сети далеко
- вторая нода "теплая" и для read only, (где так может приклад)
- как по ссылке уместно заметили в комментах, базу (pg) реплицирую сам ее нативным способом, ручной фейловер ок
- т.е. при отвале мастера: убеждаемся что состояние бд устраивает, промоут, запуск того, что не могло в ro на реплике, рестарт остального в rw
- при подьеме мастера, если уже запромотили - сделать теперь его "теплой" репликой
- сами виртуалки stateless, стейт в.minio и pg
- если при отвале что-то не доехало до minio - приемлемо, (и вообще туда пишется сильно реже чем в бд)
- короче главное: чтобы в нормальном режиме мастера latency на запись не страдала (nvme)

и вопросы
- я правильно понимаю, что ceph не годится?
- пишут что minio cluster может read с m/2 servers, но write m/2+1 :(
- DRBD AHEAD/BEHIND?
- или руками наколхозить zfs send/receive очень частый, но максимум 1 в момент времени? а потом в обратную сторону?!
- кто-нибудь знает что-то про https://github.com/schoebel/mars (ссылка из оригинального вопроса)?
- на 2х нодах с тупой сетью есть жизнь?
- о, в истории чата нашел интересное dRAID on zfs https://github.com/openzfs/zfs/pull/10102 (но это же про другое?)
ответ никак.  Я бы предложил поднять второй сет машины удаленно и деплой, если он есть делать в два места. Дело только  за БД и передачи данных между ними. Все остальное костыли из говна и палок Еще как вариант, все, что можно вытащить статикой , вытаскивать
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
а от минио я так вообще не в восторге Много маркетинговой лапши
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
ну и раз zfs, то делать снепшоты и хранить где-то во вне Аля холодный архив
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
ну а ceph с распределением между ДЦ отдельная тема с отдельными камнями ,  на которых у многих сгорела жопа
источник

DV

Dmitry Vylegzhanin in SDS и Кластерные FS
Vladimir Zhurkin
а от минио я так вообще не в восторге Много маркетинговой лапши
Ага, в итоге сделали тоже репликацию файлов под минио на рсинке по крону)
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
Dmitry Vylegzhanin
Ага, в итоге сделали тоже репликацию файлов под минио на рсинке по крону)
да я когда увидел у них по кубернетес на главной, я чуть чаем не подавился
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
а открываешь ишью , читаешь и рыдаешь
источник

VZ

Vladimir Zhurkin in SDS и Кластерные FS
ну и репликации на уровне нод не завезли и опять там предложение из говна и палок
источник