От данных собственно зависит какими блоками ты их читаешь

сам диск в принципе можно достаточно точно апроксимировать упрощенной можелью, в который мы фиксируем среднюю задержку доступа к данным (для типичного hdd 7200 rpm это примерно 14мс -- 4.2мс от вращения и 9 с копейками от позиционирования)

Ну вот у тебя 3 тб данных. Так у тебя все 3 тб на каждом хосте. А так делим их на 3 группы: в первой чётность на первом, во второй на втором, в третьей на третьем. В итоге у тебя на каждом осд 1 тб данных и 0.5 тб чётности. Вот и будет он свой 1 тб отдавать спокойно. Объекты - какие-то картиночки там, всё такое. Ну порядка 1 мб. Разницы будет мало - разница будет только из-за того что условно вот объект 512 кб чтобы прочитать - ты его прочитаешь с 2 хостов по 256 кб. Но фактически это не такая большая разница

ну нет же. если ты радосгв на ec положил то у тебя rgw stripe поделится на N

и читать ты будешь за раз в N раз меньше

Ну если у тебя 20 дисков, то это может и влияет, да

А если N небольшое то пофиг

продолжу. и средню скорость трансфера (да, она в начале диска больше чем в два раза больше чем в конце), ну для современных пусть 120MB/s

Ну только ты помни, что там ещё блюстор в случае цефа и линейное чтение не очень линейное само по себе

И поэтому оно сразу где-то 40 мб/с в цефе с 1 хдд

теперь считаем. 256KB передается за .256/120 + 0.014 мс ~ 17мс. 512кб -- 19мс. 58 и 52 iops. умножаем обратно  и получаем 14.8 и 26.6МБ/с. разница конечно не в два раза, но вполне заметная

ну, да... понятно, что чем меньше объекты, тем хуже

да, блюстор в этом смысле не очень удачен. но если объекты крупные или их можно заставить быть крупными то можно поднять bluestore_min_alloc_size_hdd (емнип) и уменьшить фрагментацию

ну вот ec размер эффективный размер объектов дробит по сути

для 40мб/с у тебя кусок чтения под мегабайт должен

ну вот я щас подёргал Seagate ST8000NM0055 - randread 256k типа 35 МБ/с, 512k типа 60 МБ/с

так что да - так-то конечно всё верно

HD Tune Pro shows the Seagate 8TB Enterprise Capacity HD in at 228.3MB/s average with a maximum speed of 240.3MB/s and an access time of 8.72ms and 8% CPU usage.

как-то у тебя слишком хорошая производительность вышла

Ну iodepth=32