Size: a a a

SDS и Кластерные FS

2020 December 18

S

Scumtron in SDS и Кластерные FS
Michael Silich
Спросил у Саппорта и они ответили. Маркетинг опять. 150ТБ хдд и 30 тб ссд на сайтн это Raw space. В лицензии стоит 50тб хдд и 10тб ссд, это usable space. Они считают 3:1, это стандартная репликация у них
Что заметил. Добавил через инсталлер 5 серверов (4x4TB HDD + 1x512GB NVMe). OS установил на один HDD, т.е. под кластер выделил 3x HDD под дату + 1x SSD под мету на каждом. Но почему-то система отображает не все диски. Т.е. грубо говоря, вместо 3x HDD отображает только 1, на некоторых 2, но все равно это странно.
источник

S

Scumtron in SDS и Кластерные FS
Как будто кластер спрятал часть дисков под что-то непонятное ))
источник

MS

Michael Silich in SDS и Кластерные FS
вы их в гуи либо через cli добавили их в кластер и назначили роль?
источник

S

Scumtron in SDS и Кластерные FS
Michael Silich
вы их в гуи либо через cli добавили их в кластер и назначили роль?
После автоинсталлер через GUI
источник

MS

Michael Silich in SDS и Кластерные FS
диски чистые были? Без разметки итд?
источник

S

Scumtron in SDS и Кластерные FS
Michael Silich
диски чистые были? Без разметки итд?
Да. ОН их определил. Предложил разметить. Я выбрал все HDD под data и SSD  под мету
источник

S

Scumtron in SDS и Кластерные FS
ну и скорость затестил через FIO на чтение. этот же сетап из 5 серверов в Beegfs давал больше 500 мб, а тут 200-300
источник

MS

Michael Silich in SDS и Кластерные FS
Хм, тогда не знаю. Не встречал. Либо в логах (registry.log и data.log) искаить либо в саппорт писать (как я понял на free они тоже быстро овечают)
источник

S

Scumtron in SDS и Кластерные FS
чую, что-то не так настроено. Наверное надо через CLI все вручную
источник

S

Scumtron in SDS и Кластерные FS
Scumtron
ну и скорость затестил через FIO на чтение. этот же сетап из 5 серверов в Beegfs давал больше 500 мб, а тут 200-300
он мог быть и больше, но сети 1 гбит
источник

MS

Michael Silich in SDS и Кластерные FS
У нас почти 1PB в quobyte лежит. Под почту и мелкие файлы. 10Гб сеть полностью использует
источник

S

Scumtron in SDS и Кластерные FS
Michael Silich
У нас почти 1PB в quobyte лежит. Под почту и мелкие файлы. 10Гб сеть полностью использует
А мне под большие файлы, должно быть еще лучше
источник

MS

Michael Silich in SDS и Кластерные FS
Сеть нужно в настройках ставить. Что есть client, а что backend network
источник

MS

Michael Silich in SDS и Кластерные FS
Scumtron
А мне под большие файлы, должно быть еще лучше
там настроики в policy нужно смотреть. Есть разные профили. Либо свои профили делать
источник

MS

Michael Silich in SDS и Кластерные FS
Кстати у них форум есть https://forum.quobyte.com/
источник

S

Scumtron in SDS и Кластерные FS
Ага, спасибо. Полистаю
источник

MS

Michael Silich in SDS и Кластерные FS
Там в форуме мало что есть, мы с ними либо по почте. Либо по тел общаемся.
источник

p

pragus in SDS и Кластерные FS
годно в плане саунда и картинки )
источник

MS

Michael Silich in SDS и Кластерные FS
Scumtron
Ага, спасибо. Полистаю
Саппорт ещё эту репу дал на полистать https://github.com/jan379/quobyte-in-action
источник
2020 December 19

NB

Nick Blame in SDS и Кластерные FS
пытаюсь bcache под 8 центосью поднять, модуль ядра собрал, подключил, а вот тулза bcache-tools  совсем какая-то древняя от 2018 года, у меня в итоге после создания bcache девейса команды blkid, partprobe, lvs все segmentation fault выдают, когда до bcache доходят. подмонтировать тоже не могу. ошибка такая
Dec 18 20:50:34 c1 kernel: bcache: bch_cached_dev_attach() Caching sdb1 as bcache0 on set fa41ae60-0e6a-4e2b-871d-2897154640a5
Dec 18 20:50:34 c1 kernel: bcache-register[557938]: segfault at 7f9753ff7220 ip 00007f9753ff7220 sp 00007ffe0285f488 error 14 in libc-2.28.so[7f9753f2e000+1b9000]
Dec 18 20:50:35 c1 systemd-udevd[924]: worker [557929] failed while handling '/devices/virtual/block/bcache0'
. В убунте  при этом с такой же версией ядра (4.18.0.147)    судя по отзывам  у всех все работает. Может подскажет кто куда копать
источник