Привет, кто-ниудь сталкивался с таким? Как найти причину таких slow ops?
2021-10-20 05:58:47.305 7f10eee72700  0 log_channel(cluster) log [WRN] : slow request osd_op(client.948707820.0:320090173 11.6bf 11:fd783715:::rbd_data.42cbefddcfffdc.00000000000027fa:head [wr
ite 3391488~4096] snapc 0=[] ondisk+write+known_if_redirected e3166251) initiated 2021-10-20 05:58:16.972585 currently waiting for sub ops
2021-10-20 05:58:47.305 7f10eee72700 -1 osd.160 3166251 get_health_metrics reporting 1 slow ops, oldest is osd_op(client.948707820.0:320090173 11.6bf 11:fd783715:::rbd_data.42cbefddcfffdc.0000
0000000027fa:head [write 3391488~4096] snapc 0=[] ondisk+write+known_if_redirected e3166251)

наиболее частая причина -- сеть, потом диск

В journalctl появятся строки про raid-контроллер или про scsi если проблема с дисками/контроллером.
Вот так, например:

kernel: sd 0:0:17:0: WARNING: (0x06:0x002C): Command (0x8a) timed out, resetting card.
kernel: 3w-sas: scsi0: ERROR: (0x06:0x0011): Controller not ready during reset sequence.

проблема возникает на разных OSD
Oct 20 13:34:36 ceph-osd[1830762]: 2021-10-20 13:34:36.184 7f1a59a5c700 -1 bdev(0x55ad8bbd2380 /var/lib/ceph/osd/ceph-155/block) aio_submit retries 12
Oct 20 13:34:36 ceph-osd[1830762]: 2021-10-20 13:34:36.187 7f1a53a50700 -1 bdev(0x55ad8bbd2380 /var/lib/ceph/osd/ceph-155/block) aio_submit retries 15
Oct 20 13:34:36 ceph-osd[1830762]: 2021-10-20 13:34:36.188 7f1a5aa5e700 -1 bdev(0x55ad8bbd2380 /var/lib/ceph/osd/ceph-155/block) aio_submit retries 8
Oct 20 13:34:36  ceph-osd[1830762]: 2021-10-20 13:34:36.193 7f1a5aa5e700 -1 bdev(0x55ad8bbd2380 /var/lib/ceph/osd/ceph-155/block) aio_submit retries 6
Oct 20 13:36:00  ceph-osd[521418]: 2021-10-20 13:36:00.232 7fcb3a070700 -1 osd.158 3166296 get_health_metrics reporting 1 slow ops, oldest is osd_op(client.1098715021.0:57

aio_submit retries - не может пропихнуть на диск?

Похожее было, когда пяток апп из оперативы выгружал данные на одном фуллхдд днищецефе, харды просто не успевали записать такой поток данных.

только это ssd диски

Хотя бы не nvme? =)

а если нам на клиентов положить, что можно при неизменном osd_max_backfills подкрутить для ускореня бэкфила?

уже стоит

osd_recovery_max_active=100
osd_recovery_sleep_hdd=0
osd_recovery_sleep_hybrid=0

op_priority?

1

нагрузка довольно мала, потому и говорю что на клиентов положить.

так бекфилы подкрути )

не могу

у меня будет недостаточно pg для подкручивания, я хочу что бы оставшиеся быстрее доехали

ну когда останется только 3-5 pg недоехавших, что бы не 8 часов ждать, а быстрее

нет, ssd sata SAMSUNG MZ7LH7T6HMLA-00005

тогда наверно только osd_recovery_op_priority задрать

сколько там макисиму 64 вроде

на память не помню