боюсь, вы и 100 мбайт не получите. при уровне репликации 3, сервер будет параллельно писать в 2 реплики. т.е. это 50-60.
а вообще для нормальной работы ceph лучше 10г сеть.
У ceph есть такая штука, как ребалансировка, которая 1г забьет в лет, тем более с ssd