ну да. гуглдоксину можешь открыть - там внизу есть команды те же

Ок, сек.

т.е. сделай hdparm -W 1

я просто к чему клоню - у тебя на скриншоте из винды local LVM = 500 иопс рандврайт

это подозрительно мало с такой SSD

Кэш включил. fio -ioengine=libaio -sync=1 -direct=1 -name=test -bs=4k -iodepth=1 -rw=write -runtime=60 -filename=/dev/sdXX в конце опечатка? я тесты провожу на sda/

бля))

не опечатка а плейсхолдер

))

а то напишешь людям sda, они и запустят по sda. системному

))))) Понял))))

вот

хм, ну сильно не просело - только с fsync с 30.5к до 12к иопс

Как увеличить?

прописать отключение кэша SSD на всех нодах...
@mamahtehok что-то там пишет что вроде конфиг есть, я просто в rc.local фигачил

Ну на самом деле все логично, ни какой окультности :) во время заливки у тебя идет чистый линейный врайт и кеш там совсем ни к чему он только мешает пытаясь работать. А в рабочем состоянии у тебя идет рандом рв и там кеш как раз показывает то что должен. Както так. Но лучше конечно смотреть в метрики и тестировать свои истансы для всех случаев.

[global]
  auth_client_required = cephx
  auth_cluster_required = cephx
  auth_service_required = cephx
  cluster_network = 172.17.230.13/24  # 10Gb
  fsid = 95ed2acd-ba02-4892-a924-c1bbe7d14291
  mon_allow_pool_delete = true
  mon_host = 172.16.215.31 172.16.215.33
  osd_pool_default_min_size = 2
  osd_pool_default_size = 3
  public_network = 172.16.215.33/22 # 1Gb

[client]
  keyring = /etc/pve/priv/$cluster.$name.keyring

[mon.node01]
  public_addr = 172.16.215.31

[mon.node03]
  public_addr = 172.16.215.33

Вот такой у меня конфиг. public_network = 172.16.215.33/22 # 1Gb менять?

да не - там же фишка в том что при hdparm -W 0 на самом деле кэш диска не отключается

Если не забуду заскриню графики на заливке с кешами и без, при следующем расширении.