если только загрузка с nvme не заработает

сами nvme это просто pcie девайсы же

чет да, ты прав).

Вспоминаю, только что были проблемы со скоростью fan при установке "таких  левых" устройств

Работает заебись, но у меня самсунги на u.2 через переходник

Вот тут по подробнее, что любой загрузчик с uefi модно заставить тянуть ядро по http? Через инитрд знаю через ipxe тоже. Но чтобы сам бивис заставить...

товарищи, а подскажите, пожалуйста, насколько балансировщик в октопусе адекватен и в каком режиме его безопасно использовать?
у меня микрокластер на 6 хостов, 36 осд. разброс от 53% до 91% по заполнению. в среднем 85 пг/осд, пул ЕЦ 4+2.

Так коллеги. Вопрос на засыпку: из каких счетчиков формируется счётчик osd.stat_bytes_used, в выводе perf dump. Этот же счётчик показывайся в колонке USE у OSD в выводе ceph odd df tree

Добрый день.
Есть кластер, после обновления c проблемами. Cephadm Octopus 15.2.9
Все действия делал не я, но мои предположения вот такие.
OSD были созданы

ceph orch apply osd --all-available-devices

После это решили переделать OSD c выделением дисков под db(журналы) через спек файл
```ceph orch apply osd -i osd.yaml```. Потом пошло что-то не так и решили обновить кластер

ceph orch upgrade  --ceph-version 15.2.12

Что сейчас имеем:
[ceph: root@storage0001 /]# ceph health detail
[WRN] CEPHADM_FAILED_DAEMON: 5 failed cephadm daemon(s)
   daemon osd.34 on storage0002.os01.fi1.etcdc.io is in unknown state
   daemon osd.39 on storage0002.os01.fi1.etcdc.io is in unknown state
………….

 progress:
   Upgrade to docker.io/ceph/ceph:v15.2.12 (2w)
     [======......................] (remaining: 7w)


[ceph: root@storage0001 /]# ceph orch ls | grep osd
osd.all-available-devices  133/136  3m ago     2w   <unmanaged>  mix                                   mix
osd.osd_spec_ssd              3/22  2m ago     5w   *            docker.io/ceph/ceph:v15.2.12          c717e215da21

На сервер с OSD контенеры падают, в логах:

bluestore(/var/lib/ceph/osd/ceph-34) _minimal_open_bluefs /var/lib/ceph/osd/ceph-34/block.db symlink exists but target unusable: (2) No such file or dire

Линк есть, но битый
block.db -> /dev/ceph-9895840a-985b-41a4-b20f-796e594d264f/osd-db-8cc4d5e8-1736-42bf-9fbd-175d14c217ba

Нету такой lv.

Может кто что подскажет? Очень нужна помощь.

не особо адекватен, мы себе написали скрипт, который меняет вес осдшкам, чтобы выровнять заполнение

я тоже думаю о том чтоб вес менять, для начала хотя бы руками. а в чем проявляется неадекватность?

уже не скажу, давно дело было. но с тех пор когда неправильно балансируются данные, просто запускаем скрипт и все выравнивается

А можно на скрипт посмотреть или в двух словах как он работает?

https://github.com/jaredhared/ceph-osd-balancer - выложил, смотрите на здоровье. писалось быстро и на богомерзком пхп, но успешно работает :)

А что это?

скрипт для смены веса у осдшек

По какому принципу?

А, понятно