Size: a a a

Ceph — русскоговорящее сообщество

2020 April 28

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
тоесть мониторы висят, но не висят судя по логам так как логируют чота
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
Kostiantyn
Всем привет, можете подсказать, в правильном ли направлении я двигаюсь, может есть какие предложения?
В наличии 3 dell серера(с raid контроллерами) под proxmox с ceph(nautilus), причём с 3-мя разными пулами, они стоят каждый в своём ДЦ, соединены с свичами 2х10Г линками, сеть между свичами 100Г, задержка между свичами 0.3--0.4 мс. Один 10г линк отдан под кластреную сеть, второй 10г линк отдан под сеть виртуалок проксмокса, есть ещё 2х1г линки(в lacp) которые думаю отдать под резервную сеть кластера проксмокса(если 10г линк для виртуалок будет забит, ддос или под тест)

В наличии на каждый сервер:
2хSSD под систему в raid 1
остальные диски в raid 0(JBOD на контроллерах не поддерживается)
1хSAS 10k 1.8Tb(пул под хостинг, почту)
1xSAS 10k 900Gb(под остальные виртуалки)
1xSAS 15k 600Gb
1xSSD под tier для 1.8Tb пула
px1 2x20 core, 192Gb ram - основной
px3 2x12 core, 78Gb ram
px5 2x24 core, 128Gb ram - резервный для HA в proxmox


Как я это вижу сейчас, делаю кластер, создаю на всех трёх нодах(px1,px3,px5) mon и mng, создаю osd, создаю root bucket(например sas-600) под каждый пул дисков, туда создаю хосты(px1-sas-600, px3-sas-600 и т.д.) и в них переношу osd из дефолтно созданного хоста. Под каждый bucket создаю правило репликации где точкой отказа будет хост, по этим правилам создаю пулы и для пула на 1.8Тб добавляю кеширушющий пул на ссд.

Правильно ли всё? Возможно что-то нужно поменять? Я сейчас хоть и довольно много прочитал уже про цепх(как оф. документацию, так и с разных форумов), но работаю с ним впервые.

Возможно сас на 600 Гб стоит под журнал отдать? Или часть ссд(там стоят на 240Гб)?

Сейчас правда у меня есть возможность только 2 из 3 серверов использовать и есть третий сервер на centos где я насетапил цепх и просто добавил его как третий монитор(хотя это само по себе было интересным).
Слишком мало и слишком сложно))
источник

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
Марк ☢️ Коренберг
системктл стоп висит. потом прибивает киллом
все таки затестика ты сеть
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
Irek Fasikhov
все таки затестика ты сеть
есть идеи как именно и на что затестить?
источник

МК

Марк ☢️ Коренберг in Ceph — русскоговорящее сообщество
приватная сеть в свиче 10кекобитном куда доступа ни у кого вообще нет. Паблик сеть там хуиски. в теории чота может быть
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
Kostiantyn
ммм, а можете по подробнее?
всё будет медленно и печально.
HDD - дно, SSD если не серверное - тоже дно. SAS HDD хоть 10к или 15к, а тоже дно...
вон можешь покурить: https://yourcmc.ru/wiki/Производительность_Ceph оверхед большой
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
(только там много букв)
источник

AK

Artemy Kapitula in Ceph — русскоговорящее сообщество
Марк ☢️ Коренберг
что это было — не ебу
Какая-то хуйня в сети у тебя была. В результате сессии херачились по аутентификации. Там же всё в логе видно
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
ну и в целом хостинг на 3 10к хардах это серьёзно, да
источник

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
Марк ☢️ Коренберг
приватная сеть в свиче 10кекобитном куда доступа ни у кого вообще нет. Паблик сеть там хуиски. в теории чота может быть
да банально пинг оставь на длительное время и глянь latency
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
Artemy Kapitula
Какая-то хуйня в сети у тебя была. В результате сессии херачились по аутентификации. Там же всё в логе видно
по мне так: либо есть херня в сети которая проявляется только в определённых условиях которые наступают при osd out, либо таки баг какой-нибудь
источник

K

Kostiantyn in Ceph — русскоговорящее сообщество
Виталий На Заборе
ну и в целом хостинг на 3 10к хардах это серьёзно, да
хостинг для внутренних нужд, почта аналогично
источник

K

Kostiantyn in Ceph — русскоговорящее сообщество
Виталий На Заборе
всё будет медленно и печально.
HDD - дно, SSD если не серверное - тоже дно. SAS HDD хоть 10к или 15к, а тоже дно...
вон можешь покурить: https://yourcmc.ru/wiki/Производительность_Ceph оверхед большой
ознакомлюсь
источник

DB

Dmitry Burlakov in Ceph — русскоговорящее сообщество
Kostiantyn
хостинг для внутренних нужд, почта аналогично
еще рейд-контроллер сделает вам рано или поздно больно. не нужен вам цеф в такой конфигурации
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
а, ну хоть так
ну в общем всё равно: цеф = оверхед => осмыслен либо когда не важна скорость, но важна надёжность, либо когда объём большой, дисков много, серверов много - оно масштабируется
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
но делить на 1 сас 1.8тб, 1 сас 900гб, 1 сас 600гб, ещё какой-то микроссд и т.п.
источник

IF

Irek Fasikhov in Ceph — русскоговорящее сообщество
Dmitry Burlakov
еще рейд-контроллер сделает вам рано или поздно больно. не нужен вам цеф в такой конфигурации
dell не делают больно, одни из самых адекватных контроллеров - у них
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
это геморрой только лишний и нафиг это не надо
источник

DB

Dmitry Burlakov in Ceph — русскоговорящее сообщество
Irek Fasikhov
dell не делают больно, одни из самых адекватных контроллеров - у них
это рейд, а нужен HBA
источник

ВН

Виталий На Заборе in Ceph — русскоговорящее сообщество
Irek Fasikhov
dell не делают больно, одни из самых адекватных контроллеров - у них
LSI у них. перебрендрированный
источник