странно что идлов нет, вероятно от гипервизора зависит. ну или модулечка не хватает.
а еще есть шанс частотой порулить

да нет, чего странного. откуда в виртуалке cpufreq

ну зависит от. если весь камень целиком дают -- можно и предоставить, чё нет-то?

61 slow ops, oldest one blocked for 1806 sec, mon.mon-ceph1 has slow ops

дампни

монитор-то? да он не умеет

как не умеет, ceph daemon mon.ripper5 ops

а в хелпе нет.

У меня есть...

{
           "description": "osd_failure(failed timeout osd.12 [v2:10.1.1.68:6908/18049,v1:10.1.1.68:6923/18049] for 26sec e90630 v90630)",
           "initiated_at": "2020-12-03 18:03:49.946558",
           "age": 2291.5072469679999,
           "duration": 2291.5072862850002,
           "type_data": {
               "events": [
                   {
                       "time": "2020-12-03 18:03:49.946558",
                       "event": "initiated"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946558",
                       "event": "header_read"
                   },
                   {
                       "time": "0.000000",
                       "event": "throttled"
                   },
                   {
                       "time": "0.000000",
                       "event": "all_read"
                   },
                   {
                       "time": "0.000000",
                       "event": "dispatched"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946692",
                       "event": "mon:_ms_dispatch"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946692",
                       "event": "mon:dispatch_op"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946692",
                       "event": "psvc:dispatch"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946717",
                       "event": "osdmap:preprocess_query"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946718",
                       "event": "osdmap:preprocess_failure"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946736",
                       "event": "osdmap:prepare_update"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946737",
                       "event": "osdmap:prepare_failure"
                   },
                   {
                       "time": "2020-12-03 18:03:49.946756",
                       "event": "no_reply: send routed request"
                   }
               ],
               "info": {
                   "seq": 21041,
                   "src_is_mon": false,
                   "source": "osd.262 v2:10.1.1.36:6994/18534",
                   "forwarded_to_leader": false
               }
           }

воистину, узнал про krping, спасибо

а подскажите по мониторингу - в перфдампе осд есть такая метрика - subops. Наряду с op_r и op_w - отдает статистику по лейтенси и хитам. всегда снимал ее с перфдампа - решил в одном из кластеров перейти на промовский экспортер из mgr - там его найти не могу. Она как то по другому называется в экспортере или ее просто не завезли в него?

Ого какая штука, а я не знал

не только лишь все оценят

(камент)

всем здравствуйте.
тестирую тут bcache, наблюдаю какое-то странное поведение.

fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4k -iodepth=128 -rw=randwrite -runtime=60 -filename=/dev/bcache0

Первые 20 секунд выдает 90к iops, потом проседает в 0 и чего-то ждет, далее опять поднимается до 90К. И так волнами.

с чем это может быть связано? крутил writeback_rate - не влияет. Отключение кеша на ssd так же не влияет.

кеш 100гигов, после многочисленных тестов в diry_data 15гиг.

Может кто-то встречался с таким поведением.. В результате получаю средний iops около 60к но задержки более 5 секунд.