Вообще у opennebula есть такое понятие, как "datastore виртуалки".
Его фиг поменяешь. Но потом виртуалке можно подключать диски из других datastore

Вот это самое "datastore виртуалки" можно держать на shared fs - на папке в cephfs.
А диски держать в чистом ceph.

что-бы это заработало, нужно подпилить ceph tm-драйвер, добавить в mv premigrate и postmigrate проверку, запущен ли он на shared storage, и тогда не выполнять никаких действий

будет время я сделаю, пока немного не до того просто

не совсем так, там есть datastore_mad (датастор драйвер) для images_ds и есть tm_mad (транспорт драйвер), который используется для перемещения дисков из images_ds в system_ds и наоборот, при этом у обоих из них могут быть разные tm_mad

вчера как раз спорили на эту тему

в итоге договорились о том, что в следующей версии реализуем возможность копирования образов среди датасторов с разными tm_mad

реализованно это будет так, что для каждого tm-драйвера, будет добавлена возможность вызвать кастомные actions если датастор-приемник имеет другой tm.

грубо говоря если копируешь из ceph в lvm будет вызываться tm/ceph/clone.fs_lvm а не tm/ceph/clone как это происходит сейчас

хмм

и нужно будет держать скрипты: "из ceph в lvm", "из ceph в fs", "из lvm в ceph", "из lvm в fs", "из fs в ceph", "из fs в lvm"?

Именно

Они будут поставляться в комплекте с tm драйвером

я бы на их месте сделал универсальный способ - dd.
и в каждый драйвер по 2 коннектора к нему: послать в dd и получить из dd

Согласен так было бы проще всего, именно так и организованы import/export в маркетплейс.
Здесь же проблема немного в другом: дело в том, что images datastore и system datastore очень тесно связанны друг с другом и как правило не предполагают возможность использования разных драйверов. OpenNebula оперирует понятием, когда каждый инстанс созданный из определенного image является как бы его продолжением. В случае ceph и qcow это просто снапшот в том же месте. В случае с shared или ssh это копия из images в system datastore, причем в одном случае она может быть сделана через ssh, в другом -непосредственно на ноде

Плюс непонятно будет что с персистент образами делать в этом случае, ибо их тоже надо как-то подключать

В небулу вообще планируют завезти yaml/toml? Конфиги в некоторых местах трындец 🤷‍♀️

А можно пример проблемного конфига?