ну мало ли.

в общем, давай данные 🙂

атомы конечно врядли, но вдруг там x52xx какое

или fx

запускаю с серваков кластера:
fio:

[global]
ioengine=rbd
clientname=admin
pool=ssd-test-pool
rbdname=disk1
rw=randwrite
bs=4k
runtime=60
direct=1
[rbd_iodepth32]
iodepth=1

3 -сервера, 6 -SSD в серваке. разбит на 2 по 600 - итого 12 OSD на сервер.
Уровень репликации 3
ssd серии Intel4610
клиентская сеть 2x10GE(bonding), кластерная сеть еще 2x10GE RcOE(RDMA) - MTU 9000, RDMA MTU 4096
Памяти 128, CPU  Intel Gold 5120, 2x14core.

при iodepth=256- выдает 35К iops через RBD.

интернеты говорят что 4610 -- nvme и 1.2Т они не бывают

еще иногда зависает I/O и вот такие сообщения в логе:
ceph-osd.14.log:2020-12-08T18:05:23.980+0300 7f489566d700  0 log_channel(cluster) log [WRN] : slow request osd_op(client.234255.0:11868 4.3d 4:be54286e:::rbd_data.3202832b8dab8.0000000000000540:head [write 589824~4096 in=4096b] snapc 0=[] ondisk+write+known_if_redirected e1477) initiated 2020-12-08T18:03:57.304614+0300 currently waiting for sub ops

- но это при интенсивной записи - вылетает на разных osd, помогает перезапуск osd.

остальное место под wal+rocks+bcache для hdd пула.

Обнови прошиву ссд

s

А по загрузке ссд что?

Вряд ли ты в иопс уперся

по загрузке в 1 поток?

Попингуй с -M do -s 8192, мож где с мту проеб

все равно 1.2 нет, есть 960 и 1.9.

Мало ли, вдруг загружен кластер

не, свеже установленный без клиентов. 1 пул всего для теста

еще иногда зависает I/O и вот такие сообщения в логе:
ceph-osd.14.log:2020-12-08T18:05:23.980+0300 7f489566d700  0 log_channel(cluster) log [WRN] : slow request osd_op(client.234255.0:11868 4.3d 4:be54286e:::rbd_data.3202832b8dab8.0000000000000540:head [write 589824~4096 in=4096b] snapc 0=[] ondisk+write+known_if_redirected e1477) initiated 2020-12-08T18:03:57.304614+0300 currently waiting for sub ops

у меня аналогичная хуйня на прошлой неделе была. грешим на свич, типа пакеты бьет.

ну вроде с сетью проблем не было, посмотрю статистику интерфейсов...