Добрый день! 
правила хорошего тона размещать мощности и хранилище на разных серверах. 
1. Небула установлена на 3+ хостах. Галера кластер + HA с использованием corosync и pacemaker. 
2. Цеф использую на двух кластерах. Диски живут в RBD.
3. Ceph селить отдельно, плюсов размещать хранилище там же, где и мощности - нет. 
Нюансов много, начиная от DDoS-атак, скрабинга, восстановления в случае отказа и прочих факторов. 
4. Для любой живой миграции требуется единое хранилище, если речь идет о Ceph, то да - диск должен быть в пуле ceph. 
5. ovs ранее использовал, были ошибки, поэтому отказался, новую версию еще не пробовал.