ВН
Зацени
Чо
Size: a a a
2020 November 14
🇷
Я спросил.
A
Про нутоникс
M
Я спросил.
Благодарствую
ВН
Про нутоникс
А, нутаникс на ссд быстрее чем нвме %) ну да, блажен кто вэрует, если только речь не об fsync
A
А, нутаникс на ссд быстрее чем нвме %) ну да, блажен кто вэрует, если только речь не об fsync
Ну или он тормозит на нвме кек
A
А бенчи нутоникса до сих пор засикречины?
V
Надо плясать не от «хочу фс на нвме», а нужно решение с такой то производительностью.
поддержу. try zfs on nvme, например. выдаст ли оно желаемое? в узких задачах какой-нибудь nfs over rdma/ib или gpudirect сделает всех со свистом. как datapath направите, так и будет тормозить. направите через cpu + tcpip и захотите максимума - ну, сами себе дурилки.
V
и почему сразу NVMe. Можно и растянутый DRAM/Optane кластер с персистом на NVMe делать, https://formulusblack.com/product/
V
вот только от упомянутого gap все равно не убежите
A
Товарищи, что посоветуете для решения такой задачи? Есть сервера виртуализации, подключенные по 10г, с nvme слотами пустующими, есть бюджета на 3 nvme по 2 тб. Задача - сделать из этого шареную фс с 600 гб джипегов, которую надо подмонтировать к 8ми серверам, каждый из которых должен записывать файлы(вероятность записи в один и тот же файл практически исключена). Перед серверами стоит cdn, так что производительность не в приоритете, но все-таки хочется сохранить ее на приемлемом уровне. В голову лезет только cephfs, но на трех узлах вроде не советуют делать. HA-NFS поверх drbd? GFS2 ?
Цеф норм в кейсе
🇷
Переслано от Alexander
Максимум 6 nvme в ноду ставил, только с sata ssd не смешивай, или только nvme или nvme+hdd
🇷
Благодарствую
вот ответили
M
Переслано от Alexander
Максимум 6 nvme в ноду ставил, только с sata ssd не смешивай, или только nvme или nvme+hdd
Неплохо...!
M
Но жаль что нельзя nvme+ssd
ВН
Интел дИбилы
ВН
Я им написал в саппорт по поводу SSD D3-4510
ВН
Суть - очень забавная - в том, что эти SSD дико проседают по производительности, если перезаписывать подряд несколько раз один и тот же сектор
ВН
Как проверить:
-> write: IOPS=3142, BW=12.3MiB/s (12.9MB/s)(97.9MiB/7977msec)
-> write: IOPS=20.8k, BW=81.4MiB/s (85.3MB/s)(543MiB/6675msec)
$ fio -direct=1 -rw=write -bs=4k -size=4k -loops=100000 -iodepth=1-> write: IOPS=3142, BW=12.3MiB/s (12.9MB/s)(97.9MiB/7977msec)
$ fio -direct=1 -rw=write -bs=4k -size=128k -loops=100000 -iodepth=1-> write: IOPS=20.8k, BW=81.4MiB/s (85.3MB/s)(543MiB/6675msec)