А вот и не получилось до конца :-( После первого выполнения команды ceph daemon osd.<№> flush_store_cache по всем OSD получил скорость 15 МБайт/с, Еще раз повторил очистку и запустил ту же команды - скорость 30 МБайт/с, в третий раз - опять больше - 50 МБайт/с, четвёртый - 75 МБайт/с, т.е. каждый раз получаю +15 МБайт/с, который получил самый первый раз :-(((
Это может быть логично, т.к в кэше блюстора и метаданные, и данные. Если метаданные все оттуда выкинуть, то это неправильный тест, т.к ему будет херово... что команда выкидывает хз, может она только данные выкидывает. И скорость может из за метаданных расти... Так что проще просто делать размер датасета побольше для тестов