Классно)))) т.е если ты новичок, то обязательно должен наступить на эти грабли.

Например, ВНИМАНИЕ! Для тех, кто в танке — fio-тест записи на диск ДЕСТРУКТИВНЫЙ. Не вздумайте запускать его на дисках/разделах, на которых есть нужные данные… например, журналы OSD (был прецедент).

был. да.

один чувак тут в чате ебанул фио по SSD с журналами

на всех трёх нодах.

Я далеко не ушел от этого чувака))))

ну формально - понятно, что при записи по кластерной сети при реплике 3 идёт в 2 раза больше трафика чем по клиентской. но даже если предположить что нагрузка - запись 100% то разницы нет особой между одной общей сетью и двумя.
также в теории ясно, что при ребалансе туда идёт доп.трафик и ВОЗМОЖНО клиентам будет легче, если его отделить от клиентского
однако реальность по-моему такова, что клиентам всё равно херово, потому что при ребалансе начинает тормозить сам цеф - и поэтому просто придушиваешь ребаланс и всё, в сеть тоже никто не упирается.

Вот результаты теста fio на одной ноде:

root@node-1:~# fio -ioengine=libaio -direct=1 -invalidate=1 -name=test -bs=4M -iodepth=32 -rw=read -runtime=60 -filename=/dev/sda
test: (g=0): rw=read, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=libaio, iodepth=32
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [R(1)][100.0%][r=585MiB/s][r=146 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=181404: Sun May 10 11:53:43 2020
 read: IOPS=134, BW=537MiB/s (563MB/s)(31.5GiB/60114msec)
   slat (usec): min=48, max=1503, avg=239.90, stdev=101.99
   clat (msec): min=34, max=394, avg=238.18, stdev=16.84
    lat (msec): min=35, max=395, avg=238.42, stdev=16.83
   clat percentiles (msec):
    |  1.00th=[  186],  5.00th=[  230], 10.00th=[  239], 20.00th=[  239],
    | 30.00th=[  239], 40.00th=[  239], 50.00th=[  239], 60.00th=[  239],
    | 70.00th=[  239], 80.00th=[  239], 90.00th=[  239], 95.00th=[  247],
    | 99.00th=[  313], 99.50th=[  338], 99.90th=[  380], 99.95th=[  397],
    | 99.99th=[  397]
  bw (  KiB/s): min=360448, max=647168, per=99.80%, avg=548444.04, stdev=46249.45, samples=120
  iops        : min=   88, max=  158, avg=133.89, stdev=11.28, samples=120
 lat (msec)   : 50=0.09%, 100=0.06%, 250=96.65%, 500=3.20%
 cpu          : usr=0.19%, sys=3.07%, ctx=11010, majf=0, minf=32779
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.2%, 32=99.6%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
    issued rwts: total=8065,0,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  READ: bw=537MiB/s (563MB/s), 537MiB/s-537MiB/s (563MB/s-563MB/s), io=31.5GiB (33.8GB), run=60114-60114msec

Disk stats (read/write):
 sda: ios=32523/0, merge=0/0, ticks=4829389/0, in_queue=4762152, util=99.92%

да забей - сеть сначала меняй

ну ты всё-таки чтение запустил же

Я после чтения документации принял решение разделить сети.

он rw=randwrite запустил

а я нет)).

я прочитал, подумал "а нахуя" и не стал

=))

Наверное опыт и подход)

природная недоверчивость :D

Я поэтапно проверяю.

ну там по скриншоту примерно понятно что у тебя стоит какая-то SATA ссд типа самсунга десктопного