Телеграмм чат группы sds

2020 September 20

AN

Alexandr Novoselov in SDS и Кластерные FS

а кто-нибудь лично сталкивался с отказом nvme?

источник

13:12пожаловаться #1

LB

Let Eat Bee in SDS и Кластерные FS

Nikolay Zaitsev

Привет. Хочу максимально увеличить скорость записи на диски в ущерб надежности сохранности данных.
В сервере воткнуты два NVMe SSD диска.
1. Сейчас Software RAID1, перевод на RAID0 увеличит производительность за счет того, что не тратятся ресурсы на избыточность?
2. Файловая система сейчас ext4 с опциями ext4 noatime,nodiratime,data=writeback,barrier=0. Может какие алтернативы по выбору фс?

Сервер:
AMD EPYC 7401P 24-Core Processor
RAM 128GB
2 x NVMe SSD 960GB

libeatmydata.so

источник

14:39пожаловаться #2

NZ

Nikolay Zaitsev in SDS и Кластерные FS

Alex

а каких показателей ты на nvme достиг, что хочется еще?

Извиняюсь, все таки на этом сервере просто Sata SSD, не nvme. Я планирую поменять сервер с nvme дисками.


Model Family:     Micron 5100 Pro / 5200 SSDs
Device Model:     Micron_5100_MTFDDAK1T9TBY

утилизация постоянно 50-60%. по iotop 100-180M/s на запись. Сколько надо пока сложно сказать. Опираюсь на скорость работы приложения, которое много и часто пишет в Rockdb базу.
Специально тесты не проводил. Пока пробую как-то подтюнить.

источник

17:37пожаловаться #3

A

Alex in SDS и Кластерные FS

Nikolay Zaitsev

Извиняюсь, все таки на этом сервере просто Sata SSD, не nvme. Я планирую поменять сервер с nvme дисками.


Model Family:     Micron 5100 Pro / 5200 SSDs
Device Model:     Micron_5100_MTFDDAK1T9TBY

утилизация постоянно 50-60%. по iotop 100-180M/s на запись. Сколько надо пока сложно сказать. Опираюсь на скорость работы приложения, которое много и часто пишет в Rockdb базу.
Специально тесты не проводил. Пока пробую как-то подтюнить.

Эм

источник

17:40пожаловаться #4

A

Alex in SDS и Кластерные FS

Хурма какая-то

источник

17:40пожаловаться #5

A

Alex in SDS и Кластерные FS

Fio бери в руки для начала

источник

17:40пожаловаться #6

A

Alex in SDS и Кластерные FS

iostat -dmx 1 под нагрузкой покажи

источник

17:41пожаловаться #7

NZ

Nikolay Zaitsev in SDS и Кластерные FS

Alex

iostat -dmx 1 под нагрузкой покажи

Когда в iotop 200+ M/s, то в iostat -dmx 1 утилизация подскакивает пости до 100% https://pastebin.com/raw/iv9HWqc2

iotop

Current DISK WRITE:     213.14 M/s
Current DISK WRITE:     252.95 M/s

источник

18:32пожаловаться #8

NZ

Nikolay Zaitsev in SDS и Кластерные FS

попробую, спасибо

NZ

Nikolay Zaitsev in SDS и Кластерные FS

Alex

Fio бери в руки для начала

Такие тесты погонял с iodepth=1 и iodepth=128

fio --name=random-write --ioengine=libaio --rw=randwrite --direct=1 --bs=4k --iodepth=1 -numjobs=1 --runtime=60 --time_based  --size=4G

https://pastebin.com/raw/WrWrid5Q

write: IOPS=25.7k, BW=101MiB/s (105MB/s)(6033MiB/60001msec)

fio --name=random-write --ioengine=libaio --rw=randwrite --direct=1 --bs=4k --iodepth=128 -numjobs=1 --runtime=60 --time_based  --size=4G

https://pastebin.com/raw/XRCTD0SM

write: IOPS=85.5k, BW=334MiB/s (350MB/s)(19.6GiB/60001msec)

источник

20:35пожаловаться #10

A

Alex in SDS и Кластерные FS

Ну норм в целом

источник

20:40пожаловаться #11

A

Alex in SDS и Кластерные FS

А как приложение пишет?

источник

20:40пожаловаться #12

NZ

Nikolay Zaitsev in SDS и Кластерные FS

Alex

А как приложение пишет?

затруднюсь пока ответить как именно пишет, попробую изучить. Знаю, что активно пишет в Rocksdb базу локально. У меня запущено два экземпляра этого приложения на сервере, каждый пишет в свою базу. Наблюдаю, что каждая прила пишет на диск со скоростью 100-200M/s (выключаю их по очереди) и вероятно им не хватает общей пропускной способности диска. Производительность приложения не устраивает.

источник

21:19пожаловаться #13

A

Alex in SDS и Кластерные FS

Nikolay Zaitsev

затруднюсь пока ответить как именно пишет, попробую изучить. Знаю, что активно пишет в Rocksdb базу локально. У меня запущено два экземпляра этого приложения на сервере, каждый пишет в свою базу. Наблюдаю, что каждая прила пишет на диск со скоростью 100-200M/s (выключаю их по очереди) и вероятно им не хватает общей пропускной способности диска. Производительность приложения не устраивает.

Эфир?)))))

источник

21:22пожаловаться #14

ВН

Виталий На Заборе... in SDS и Кластерные FS

кефириум

источник

21:22пожаловаться #15

NZ

Nikolay Zaitsev in SDS и Кластерные FS

Alex

Эфир?)))))