K
но цена этой хранилки отбила эту идею у руководства напрочь (
Size: a a a
2020 April 28
AS
и тут кто-то сказал что цеф это дешево…
ВН
ну это вопрос что хочется получить - если натыкать несколько хардов и bcache то таки не так всё плохо
ВН
звёзд с неба не будет хватать, но за эти деньги по идее от него и ожиданий таких не будет
ВН
Всем привет, можете подсказать, в правильном ли направлении я двигаюсь, может есть какие предложения?
В наличии 3 dell серера(с raid контроллерами) под proxmox с ceph(nautilus), причём с 3-мя разными пулами, они стоят каждый в своём ДЦ, соединены с свичами 2х10Г линками, сеть между свичами 100Г, задержка между свичами 0.3--0.4 мс. Один 10г линк отдан под кластреную сеть, второй 10г линк отдан под сеть виртуалок проксмокса, есть ещё 2х1г линки(в lacp) которые думаю отдать под резервную сеть кластера проксмокса(если 10г линк для виртуалок будет забит, ддос или под тест)
В наличии на каждый сервер:
2хSSD под систему в raid 1
остальные диски в raid 0(JBOD на контроллерах не поддерживается)
1хSAS 10k 1.8Tb(пул под хостинг, почту)
1xSAS 10k 900Gb(под остальные виртуалки)
1xSAS 15k 600Gb
1xSSD под tier для 1.8Tb пула
px1 2x20 core, 192Gb ram - основной
px3 2x12 core, 78Gb ram
px5 2x24 core, 128Gb ram - резервный для HA в proxmox
Как я это вижу сейчас, делаю кластер, создаю на всех трёх нодах(px1,px3,px5) mon и mng, создаю osd, создаю root bucket(например sas-600) под каждый пул дисков, туда создаю хосты(px1-sas-600, px3-sas-600 и т.д.) и в них переношу osd из дефолтно созданного хоста. Под каждый bucket создаю правило репликации где точкой отказа будет хост, по этим правилам создаю пулы и для пула на 1.8Тб добавляю кеширушющий пул на ссд.
Правильно ли всё? Возможно что-то нужно поменять? Я сейчас хоть и довольно много прочитал уже про цепх(как оф. документацию, так и с разных форумов), но работаю с ним впервые.
Возможно сас на 600 Гб стоит под журнал отдать? Или часть ссд(там стоят на 240Гб)?
Сейчас правда у меня есть возможность только 2 из 3 серверов использовать и есть третий сервер на centos где я насетапил цепх и просто добавил его как третий монитор(хотя это само по себе было интересным).
В наличии 3 dell серера(с raid контроллерами) под proxmox с ceph(nautilus), причём с 3-мя разными пулами, они стоят каждый в своём ДЦ, соединены с свичами 2х10Г линками, сеть между свичами 100Г, задержка между свичами 0.3--0.4 мс. Один 10г линк отдан под кластреную сеть, второй 10г линк отдан под сеть виртуалок проксмокса, есть ещё 2х1г линки(в lacp) которые думаю отдать под резервную сеть кластера проксмокса(если 10г линк для виртуалок будет забит, ддос или под тест)
В наличии на каждый сервер:
2хSSD под систему в raid 1
остальные диски в raid 0(JBOD на контроллерах не поддерживается)
1хSAS 10k 1.8Tb(пул под хостинг, почту)
1xSAS 10k 900Gb(под остальные виртуалки)
1xSAS 15k 600Gb
1xSSD под tier для 1.8Tb пула
px1 2x20 core, 192Gb ram - основной
px3 2x12 core, 78Gb ram
px5 2x24 core, 128Gb ram - резервный для HA в proxmox
Как я это вижу сейчас, делаю кластер, создаю на всех трёх нодах(px1,px3,px5) mon и mng, создаю osd, создаю root bucket(например sas-600) под каждый пул дисков, туда создаю хосты(px1-sas-600, px3-sas-600 и т.д.) и в них переношу osd из дефолтно созданного хоста. Под каждый bucket создаю правило репликации где точкой отказа будет хост, по этим правилам создаю пулы и для пула на 1.8Тб добавляю кеширушющий пул на ссд.
Правильно ли всё? Возможно что-то нужно поменять? Я сейчас хоть и довольно много прочитал уже про цепх(как оф. документацию, так и с разных форумов), но работаю с ним впервые.
Возможно сас на 600 Гб стоит под журнал отдать? Или часть ссд(там стоят на 240Гб)?
Сейчас правда у меня есть возможность только 2 из 3 серверов использовать и есть третий сервер на centos где я насетапил цепх и просто добавил его как третий монитор(хотя это само по себе было интересным).
я только ещё не понял что это за задержка 0.4мс между свичами, это ж дохуя
K
я только ещё не понял что это за задержка 0.4мс между свичами, это ж дохуя
ну +- 6 км между дц где стоит оборудование
ВН
а, всё это ещё и геораспределённое что ли?
ВН
ща хуями закидают...
K
можно конечно допустим 2 ноды в один, а одну в другой поставить
AM
можно конечно допустим 2 ноды в один, а одну в другой поставить
и получить тыкву )
IF
и по сраке потом )
ВН
*HUI INCOMING*
IF
не захотело руководство платить за схд, будет платить жопой админ
K
ок, перефразирую, сейчас это всё крутиться на старом дерьме, там работает относительно такое-же старое дерьмо, которое трогать страшно, переделывать это не один месяц работы, что вообще как-то не совсем моё профильное, мне нужно сделать так чтобы оно всё работало дальше и не падало к чертям
IF
суровые реалити русского бизнеса
IF
ок, перефразирую, сейчас это всё крутиться на старом дерьме, там работает относительно такое-же старое дерьмо, которое трогать страшно, переделывать это не один месяц работы, что вообще как-то не совсем моё профильное, мне нужно сделать так чтобы оно всё работало дальше и не падало к чертям
и бесплатно, так? )
IF
без вложений имею ввиду
K
то что я выше написал уже есть, и в теории(насколько я вообще понял) возможно с него сделать подобие отказоустойчивого кластера, чтобы потом не с горящей жопой это восстанавливать всю ночь(что уже несколько раз было)