rados bench -p testbench 10 write --no-cleanup

Total time run:         10.4685
Total writes made:      551
Write size:             4194304
Object size:            4194304
Bandwidth (MB/sec):     210.537
Stddev Bandwidth:       119.216
Max bandwidth (MB/sec): 400
Min bandwidth (MB/sec): 12
Average IOPS:           52
Stddev IOPS:            29.804
Max IOPS:               100
Min IOPS:               3
Average Latency(s):     0.295632
Stddev Latency(s):      0.429082
Max latency(s):         3.08009
Min latency(s):         0.0783226

rados bench -p rbd 10 rand

Total time run:       10.2799
Total reads made:     2759
Read size:            4194304
Object size:          4194304
Bandwidth (MB/sec):   1073.56
Average IOPS:         268
Stddev IOPS:          14.2688
Max IOPS:             299
Min IOPS:             251
Average Latency(s):   0.0576713
Max latency(s):       0.292168
Min latency(s):       0.00715494

так у тебя только CephFS тупит?

Не только, и cephfs и rbd :(

какой rbd?

krbd?

В нутри пула на годах все ок, но как только подключается с другого хоста, все вилы

И так и так пробовал rbd krbd

> Bandwidth (MB/sec):   1073.56

ну тут-то оно выжимает

Только вот cephfs по сравнение и rbd пушка, rbd вообще 5-9 мб.с на клиенты

Ну синтетика на годах летает, а вот с клиентов вилы.

Версии ceph-common одинаковые

казалось бы, нет ли тут намека, что проблема где-то на пути к клиентам

Вот и я думаю, но сетевеки бьют пяткой в грудь, мол все ок. Я развалил бонды, уже выделил в отдельные vlan паблик и кластер.

ну ты пока сайгу не бери

мирно постарайся разулить с ними

Осталось уже на тесты поставить свитч отдельный загнать туда кластер, клиентов и проверить

Хуйней какойто занимаешся :)