Size: a a a

Ceph — русскоговорящее сообщество

2020 April 28

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
доступной памяти достаточно
источник

K

Kostiantyn in Ceph — русскоговорящее сообщество
Всем привет, можете подсказать, в правильном ли направлении я двигаюсь, может есть какие предложения?
В наличии 3 dell серера(с raid контроллерами) под proxmox с ceph(nautilus), причём с 3-мя разными пулами, они стоят каждый в своём ДЦ, соединены с свичами 2х10Г линками, сеть между свичами 100Г, задержка между свичами 0.3--0.4 мс. Один 10г линк отдан под кластреную сеть, второй 10г линк отдан под сеть виртуалок проксмокса, есть ещё 2х1г линки(в lacp) которые думаю отдать под резервную сеть кластера проксмокса(если 10г линк для виртуалок будет забит, ддос или под тест)

В наличии на каждый сервер:
2хSSD под систему в raid 1
остальные диски в raid 0(JBOD на контроллерах не поддерживается)
1хSAS 10k 1.8Tb(пул под хостинг, почту)
1xSAS 10k 900Gb(под остальные виртуалки)
1xSAS 15k 600Gb
1xSSD под tier для 1.8Tb пула
px1 2x20 core, 192Gb ram - основной
px3 2x12 core, 78Gb ram
px5 2x24 core, 128Gb ram - резервный для HA в proxmox


Как я это вижу сейчас, делаю кластер, создаю на всех трёх нодах(px1,px3,px5) mon и mng, создаю osd, создаю root bucket(например sas-600) под каждый пул дисков, туда создаю хосты(px1-sas-600, px3-sas-600 и т.д.) и в них переношу osd из дефолтно созданного хоста. Под каждый bucket создаю правило репликации где точкой отказа будет хост, по этим правилам создаю пулы и для пула на 1.8Тб добавляю кеширушющий пул на ссд.

Правильно ли всё? Возможно что-то нужно поменять? Я сейчас хоть и довольно много прочитал уже про цепх(как оф. документацию, так и с разных форумов), но работаю с ним впервые.

Возможно сас на 600 Гб стоит под журнал отдать? Или часть ссд(там стоят на 240Гб)?

Сейчас правда у меня есть возможность только 2 из 3 серверов использовать и есть третий сервер на centos где я насетапил цепх и просто добавил его как третий монитор(хотя это само по себе было интересным).
источник

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
Kostiantyn
Всем привет, можете подсказать, в правильном ли направлении я двигаюсь, может есть какие предложения?
В наличии 3 dell серера(с raid контроллерами) под proxmox с ceph(nautilus), причём с 3-мя разными пулами, они стоят каждый в своём ДЦ, соединены с свичами 2х10Г линками, сеть между свичами 100Г, задержка между свичами 0.3--0.4 мс. Один 10г линк отдан под кластреную сеть, второй 10г линк отдан под сеть виртуалок проксмокса, есть ещё 2х1г линки(в lacp) которые думаю отдать под резервную сеть кластера проксмокса(если 10г линк для виртуалок будет забит, ддос или под тест)

В наличии на каждый сервер:
2хSSD под систему в raid 1
остальные диски в raid 0(JBOD на контроллерах не поддерживается)
1хSAS 10k 1.8Tb(пул под хостинг, почту)
1xSAS 10k 900Gb(под остальные виртуалки)
1xSAS 15k 600Gb
1xSSD под tier для 1.8Tb пула
px1 2x20 core, 192Gb ram - основной
px3 2x12 core, 78Gb ram
px5 2x24 core, 128Gb ram - резервный для HA в proxmox


Как я это вижу сейчас, делаю кластер, создаю на всех трёх нодах(px1,px3,px5) mon и mng, создаю osd, создаю root bucket(например sas-600) под каждый пул дисков, туда создаю хосты(px1-sas-600, px3-sas-600 и т.д.) и в них переношу osd из дефолтно созданного хоста. Под каждый bucket создаю правило репликации где точкой отказа будет хост, по этим правилам создаю пулы и для пула на 1.8Тб добавляю кеширушющий пул на ссд.

Правильно ли всё? Возможно что-то нужно поменять? Я сейчас хоть и довольно много прочитал уже про цепх(как оф. документацию, так и с разных форумов), но работаю с ним впервые.

Возможно сас на 600 Гб стоит под журнал отдать? Или часть ссд(там стоят на 240Гб)?

Сейчас правда у меня есть возможность только 2 из 3 серверов использовать и есть третий сервер на centos где я насетапил цепх и просто добавил его как третий монитор(хотя это само по себе было интересным).
С такими объемами вам ceph не нужен
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
может таки с сетью что то
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
нихт
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
mtu там какое-нибудь...
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
да ничо там не меняли хоспаде
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
в офисе вообще никого нет
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
и удаленно там никто ничо тоже не делает с сетью
источник

K

Kostiantyn in Ceph — русскоговорящее сообщество
Irek Fasikhov
С такими объемами вам ceph не нужен
ммм, а можете по подробнее?
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
ну там гуглится какой-то странный баг, но не особо понятно что это, да
источник

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
у тебя админский ключ случайно не слетел?
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
Irek Fasikhov
у тебя админский ключ случайно не слетел?
да полюбас, ага. и после ребута мониторов сам восстанавливается.
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
причём пяка происзодит именно в момент начала ребаланса
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
оба раза так было
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
два монитора из 3 зашквариваются, один остаётся жить
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
причём остаётся жить разные в тех двух случаях
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
ну это сообщение это процесс перевыбора мониторов сбивается
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
системктл стоп висит. потом прибивает киллом
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
e14 это видимо 14-й раунд выборов, что ли
источник