By setting osd pg max concurrent snap trims = 0 and noscrub and nodeep-scrub, the cluster was able to finish replicating and we have then re-added all down osd's again.
But these 3 parameters/flags need to remain set to prevent "random" OSD's to go down.
а расскажите надо добавить 12 OSD. если добавить сразу 6, загнать им вес в 0 и постепенно повышать IOPS кластера просядет сильнее, чем если бы я добавлял по одной OSD и изменял им вес?