я не знаю как относиться к полученным результатам при тестировании большого количества ВМ, но прекрасно понимаю, что на момент тестирования кластера Red Hat(тесты проводились только на 1-2 ВМ, так как было не очень удобно через libvirt) ошибки slow ops, как правило, возникали в промежутках между тестами, вот в таких глупых случаях, когда уже как 10 минут все тесты прошли, а при попытке создать файловую систему, клиентская машина с диском РБД полностью виснит на протяжении 10-20-30 а иногда даже 40 минут

я чередовал fio и dd, и всего одна машина была способна зафризить весь пул на запись

давай разделять теплое с мягким

Собираю цеф - заказываю домой серверный шкаф и собираюсь протестировать оборудование прежде чем ставить все в ДЦ. Собирать кластер буду из магнитных 3,5 дисков, нагрузка будет небольшая, в основном на запись и редкое чтение - то с чем сейчас AWS S3 справляется за ~$5k в месяц.

- Какие свищи посоветуете?
- Сколько нод и сколько OSD на ноду, как вообще это рассчитать? Делать новую ноду только если насытил PCIe лейны на предыдущей?
- Диски буду брать IronWolf 4TB и наверное ставить в отдельные шасси с HBA. Какие подводные?
- Куда ставить ОС? На отдельный SSD/NVMe или mdRAID1 из 2 блокдевайсов?

про raid можно не говорить, это изощрения последнего времени(мы просто уже не знаем куда копать), сами по себе диски мы проверяли, между ними есть разница, я не могу судить как эксперт, но эта разница на мой взгляд не такая большая

можно ли как-то при появлении slow ops проверить ту OSD, которая их создает

да можно, см. https://ceph.readthedocs.io/en/latest/rados/troubleshooting/troubleshooting-osd/#debugging-slow-requests

спасибо за цифры

1/2 есть на hdd

1. я бы не стал брать ничего сигейтовского в районе 0.5-4ТБ
2. hdd невозможно насытить pcie
3. ос ставить только отдельно. дальше -- по вкусу

если он есть про него нельзя не говорить

пик IOPS составляет примерно 1.4к на очень короткое время, бывает задерживается на 1.2к, за это немедленно наступает расплата, ceph -s сразу начинает выдавать большое количество slow ops

ну тут да, интересно что в этот момент происходило... подампи slow_ops-ы из админсокета

ceph daemon osd.0 dump_historic_slow_ops

давайте не будем,
во первых, кластер используется для специфических целей.
Во вторых, там реально только hdd
И без всяких slow ops

также считаю важным уточнить, что при тестировании одиночной ВМ, первыми следами slow ops являлось зависшая операция(обычно при попытке записи первых блоков), однако это не являлось 100% закономерностью

Спасибо за ответы!

Не подскажете конкретный стакабельный свитч на 10гиг?

Как решать когда добавлять новую ноду, существует ли универсальный рецепт?

Что значит стакебельный? Ну в смысле -- нахера такое своейство? А то разные вендоры разное под этим понимают

сиськи конечно же (cisco)

В этом чате сказали что стакабельный свищ обязателен, мол ни о чем другом даже не стоит думать