4 линий хватает, нужно не для скорости, а для компенсации недостатка - нужно два воткнуть в один и сделать mirror, что-бы ceph нода не вываливалась при отвале бутового/системного накопителя.
А, да. И еще одна проблема, что pcie девайсы хоть и совместимы все, как правило, с меньшим числом линий, но каждый девайс обязан нормально работать на своей скорости и на x1. А вот на промежуточных не обязан