Ну тогда проще позволить привозить свое оборудование и сдавать в аренду стойкоместо

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

добрый день, у меня несколько вопросов
1) на сколько вообще имеет смысл ставить ceph в кубере через rook? я где-то неделю пытался его завести и он как-то очень нестабильно поднимается, рандомно бросая разные ошибки, и грубо говоря с третьего раза когда все снесешь и с нуля поднимешь, вроде работает. Вроде как плюс в том что не надо руками ходить на серверах что-то делать, но стоит ли оно того, или практичнее подключить как внешний кластер и на хосте самому руками все поднять.

2)  у нас на части серверов стоит zfs, и я развернул cephfs поверх этого zfs, он поверх сделал видимо еще какой-то свой слой и поверх еще xfs, немного напрягает что столько слоев. Есть ли возможность сделать один слой zfs, чтобы он как-то поверх просто файлы размещал без блочного устройства и еще одной fs? Или на сколько большой оверхед будет на несколько слоев, может не стоит парится по этому поводу.
Поднять поверх zfs желание потому что можно динамически менять распределять пространство на диске между cephfs и другими pv которые просто zfs, плюс там из коробки сжатие и дедупликация, которая вроде в нашем сценарии хорошо работает. Или не стоит страдать этим всем и просто дать под ceph голые диски чтобы он на них разместил все без zfs, вроде там тоже сжатие есть. И тогда чтобы была возможность динамически место выделять под ceph или левые pv, наверно придется делать разделы по 100Gb грубо говоря по мере надобности, то под osd, то под zpool.

Как ты развернул cephfs поверх zfs? 😳

Как ты развернул cephfs поверх zfs? 😳

zfs create -V 3T tank/ceph
появляется /dev/zd0
дальше при создании кластера он автоматом его цепляет

zfs create -V 3T tank/ceph
появляется /dev/zd0
дальше при создании кластера он автоматом его цепляет

уж если хотите поразвлечься - цеф может именно поверх датасета работать, ссылку выше кинул