похоже я неправильно понимаю osd_pool_default_size: 1... в итоге при такой настройке сохраняются сами данные и одна реплика? если так, то можно ли как-то поднять ceph без репликации (данные уже реплицируются на хранилке и нет смысла делать это повторно)?
репликация в ceph не то же самое что raid на каждом сервере. Тут речь о том, чтобы данные оставались доступны если сервер выпадет из кластера.