Проверил на тестовом кластере (с bcache). Одна история охуительнее другой:
fio -name=test -ioengine=libaio -direct=1 -bs=4k -iodepth=1 -rw=randwrite -filename=/dev/vdb
-> в первый момент ~10000 iops, через несколько секунд падает до 200
fio -name=test -ioengine=libaio -fsync=1 -direct=1 -bs=4k -iodepth=1 -rw=randwrite -filename=/dev/vdb
-> стабильно ~400 iops