Size: a a a

Ceph — русскоговорящее сообщество

2021 January 15

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Murmuring
ну чистые жёсткие диски больше не хотят выдавать)
короче надо 6 режимов

 -bs=4k -rw=randwrite -iodepth=1 -fsync=1
 -bs=4k -rw=randwrite -iodepth=128
 -bs=4M -rw=write -iodepth=16

и то же для чтения

причём randwrite/randread 128 - на хардах в цефе пофиг, а вот в линсторе точно надо тестить по большому числу образов - должно быть столько образов, чтобы они распределились по всем дискам, хотя бы 1 попал чтобы на каждый диск
источник

M

Murmuring in Ceph — русскоговорящее сообщество
ааааааааааааааааааааааааааааааааа
источник

M

Murmuring in Ceph — русскоговорящее сообщество
ок
источник

M

Murmuring in Ceph — русскоговорящее сообщество
короче, для себя собираю кластер на линсторе)
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Murmuring
Linstor
fio
-ioengine=libaio -direct=1 -name=test -bs=4k -iodepth=128 -rw=randwrite -runtime=60 -filename=/dev/drbd/by-res/vm-300-disk-2/0
test: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=128
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [w(1)][100.0%][w=5708KiB/s][w=1427 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=36686: Wed Jan 13 13:55:58 2021
 write: IOPS=1011, BW=4046KiB/s (4143kB/s)(237MiB/60081msec); 0 zone resets
   slat (usec): min=2, max=742, avg=12.93, stdev=27.33
   clat (usec): min=294, max=1235.3k, avg=126501.39, stdev=135817.50
    lat (usec): min=321, max=1235.3k, avg=126514.68, stdev=135816.69
   clat percentiles (usec):
    |  1.00th=[   1303],  5.00th=[  53740], 10.00th=[  70779],
    | 20.00th=[  79168], 30.00th=[  86508], 40.00th=[  88605],
    | 50.00th=[  93848], 60.00th=[  99091], 70.00th=[ 104334],
    | 80.00th=[ 115868], 90.00th=[ 231736], 95.00th=[ 278922],
    | 99.00th=[ 935330], 99.50th=[1002439], 99.90th=[1182794],
    | 99.95th=[1182794], 99.99th=[1182794]
  bw (  KiB/s): min=    8, max= 7032, per=99.91%, avg=4042.55, stdev=1899.20, samples=120
  iops        : min=    2, max= 1758, avg=1010.62, stdev=474.78, samples=120
 lat (usec)   : 500=0.03%, 750=0.13%, 1000=0.26%
 lat (msec)   : 2=1.52%, 4=0.28%, 10=0.09%, 20=0.70%, 50=1.65%
 lat (msec)   : 100=56.91%, 250=30.23%, 500=5.54%, 750=0.93%, 1000=1.24%
 cpu          : usr=0.56%, sys=1.45%, ctx=6083, majf=0, minf=991
 IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=99.9%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
    issued rwts: total=0,60775,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=128

Run status group 0 (all jobs):
 WRITE: bw=4046KiB/s (4143kB/s), 4046KiB/s-4046KiB/s (4143kB/s-4143kB/s), io=237MiB (249MB), run=60081-60081msec
ну вот тут видно разницу, да
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
хотя не совсем ясно почему
источник

M

Murmuring in Ceph — русскоговорящее сообщество
ток я не понял, откуда там 1000 иопс
источник

M

Murmuring in Ceph — русскоговорящее сообщество
в кэш попал?
источник

M

Murmuring in Ceph — русскоговорящее сообщество
хотя это запись
источник

M

Murmuring in Ceph — русскоговорящее сообщество
под капотом линстора zfs raid10, может поэтому
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Murmuring
ток я не понял, откуда там 1000 иопс
либо у дисков есть ссдкэш, либо это не записалось... попробуй не знаю, iodepth=128 fsync=128
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
либо у тебя как его там зовут, ZIL или что там, куда-то вынесен
источник

M

Murmuring in Ceph — русскоговорящее сообщество
нет, всё по дефолту, зил стоит на диске
источник

M

Murmuring in Ceph — русскоговорящее сообщество
не вынесен никуда
источник

M

Murmuring in Ceph — русскоговорящее сообщество
ща дособираю кластер, отпишусь
источник

M

Murmuring in Ceph — русскоговорящее сообщество
Виталий На Заборе
либо у дисков есть ссдкэш, либо это не записалось... попробуй не знаю, iodepth=128 fsync=128
диск 2тб, 7200, сата, 64мб, не SMR
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Murmuring
диск 2тб, 7200, сата, 64мб, не SMR
ну тогда да, не понятно откуда там 1400 иопс
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
попробуй iodepth=128 fsync=128
источник

M

Murmuring in Ceph — русскоговорящее сообщество
хорошо
источник

V

V.Zakrutkin in Ceph — русскоговорящее сообщество
Приветствую коллеги! Есть ряд вопросов, хотелось бы услышать ответы бывалых.
Дано - кластер, 3 ноды, каждая в конфигурации OSD - HDD, DB -SSD, WAL - NVME. Краш дефлотный replicated_rule, size=3 min_size=2.
1 вопрос - если на одной из нод отвалится DB или WAL какие действия предпринимать и насколько это критично для данного кластера?
2 вопрос - корректно ли использовать дефолтное replicated_rule?
источник