Самая лучшая NUMA это её отсутствие

Больше выхлоп от того чтоб rocksdb встроенный собрать с -DNDEBUG

Но тоже не шибко спасает

вопрос относительно s3. ceph - octopus 15.2.8
"залип" процесс решардинга бакета.
При попытке отрешардить получаю ошибку:
ERROR: the bucket is currently undergoing resharding and cannot be added to the reshard list at this time
при попытке отменить решард:
root@cephmon3z23:~# radosgw-admin --cluster z23 reshard cancel --bucket vision-shard-8
2021-01-14T14:14:11.618+0000 7fc6a6870080 -1 ERROR: failed to remove entry from reshard log, oid=reshard.0000000006 tenant= bucket=vision-shard-8
Статус решардинга по бакету:
root@cephmon3z23:~# radosgw-admin --cluster z23 reshard status --bucket vision-shard-8
[
   {
       "reshard_status": "not-resharding",
       "new_bucket_instance_id": "",
       "num_shards": -1
   },
   {
.... и так по всем шардам.

Как я понимаю за решард отвечают шлюзы. их порестартил, но ситуация не изменилась. Кто сталкивался или как это побороть?

вопрос снят, разобрался, починил

Посмотри reshard buckets stale ls посмотреть

там пусто было. ручками подправил мету бакета

добрый день всем! на 12 osd HDD | 3 ноды | количество pg 512 насчитал, это норм или много?

если всего 12 OSD ( на каждой ноде по 4) и в кластере всего один пул, то вроде норм

теперь фио не хочет запускаться)

а с кластером все health_ok?

ругаеться, что пг много, а так всё ок
Starting 1 process
rbd_open failed.
fio_rbd_connect failed.
При запуске фио

в конфиге прописан название пула итд? (если бенч через rbd)

[global]
ioengine=rbd
name=rbdbench
pool=rbdbench
rbdname=block_device

короч вот https://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance#Benchmark-a-Ceph-Block-Device

лол, короче голый цеф свежесобранный 15.2 на чистых жд одинаковых, с 10гбит сетью, 128RAM, 3 ноды, выдал.... 15мбайт/с.

линстор выдавал около 100мбайт/с

на точно таком же конфиге

ну всё, линстор на трех узлах в 6 раз быстрее дефолтного  HDD цефа значит

Latency is 56.875 usec - Задержка в сети
Linstor
fio -ioengine=libaio -direct=1 -name=test -bs=4M -iodepth=16 -rw=write -runtime=60 -filename=/dev/drbd/by-res/vm-300-disk-2/0
test: (g=0): rw=write, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=libaio, iodepth=16
fio-3.12
Starting 1 process
Jobs: 1 (f=0): [f(1)][100.0%][w=60.1MiB/s][w=15 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=42983: Wed Jan 13 13:51:14 2021
 write: IOPS=13, BW=55.4MiB/s (58.1MB/s)(3416MiB/61633msec); 0 zone resets
   slat (usec): min=264, max=9536, avg=558.38, stdev=321.16
   clat (msec): min=19, max=3411, avg=1152.09, stdev=763.17
    lat (msec): min=20, max=3411, avg=1152.65, stdev=763.20
   clat percentiles (msec):
    |  1.00th=[  279],  5.00th=[  609], 10.00th=[  634], 20.00th=[  651],
    | 30.00th=[  676], 40.00th=[  709], 50.00th=[  751], 60.00th=[  810],
    | 70.00th=[ 1099], 80.00th=[ 1905], 90.00th=[ 2534], 95.00th=[ 2769],
    | 99.00th=[ 3037], 99.50th=[ 3205], 99.90th=[ 3406], 99.95th=[ 3406],
    | 99.99th=[ 3406]
  bw (  KiB/s): min= 8192, max=180224, per=100.00%, avg=61355.42, stdev=36030.41, samples=112
  iops        : min=    2, max=   44, avg=14.90, stdev= 8.78, samples=112
 lat (msec)   : 20=0.12%, 100=0.12%, 250=0.70%, 500=2.58%, 750=46.60%
 lat (msec)   : 1000=18.85%
 cpu          : usr=0.53%, sys=0.30%, ctx=843, majf=0, minf=13
 IO depths    : 1=0.1%, 2=0.2%, 4=0.5%, 8=0.9%, 16=98.2%, 32=0.0%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=0,854,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
 WRITE: bw=55.4MiB/s (58.1MB/s), 55.4MiB/s-55.4MiB/s (58.1MB/s-58.1MB/s), io=3416MiB (3582MB), run=61633-61633msec

CEPH

fio -ioengine=rbd -direct=1 -name=test -bs=4M -iodepth=16 -rw=write -pool=rbdstorage -runtime=60 -rbdname=image02
test: (g=0): rw=write, bs=(R) 4096KiB-4096KiB, (W) 4096KiB-4096KiB, (T) 4096KiB-4096KiB, ioengine=rbd, iodepth=16
fio-3.12
Starting 1 process
Jobs: 1 (f=1): [W(1)][3.9%][w=4100KiB/s][w=1 IOPS][eta 25m:21s]
test: (groupid=0, jobs=1): err= 0: pid=73482: Fri Jan 15 12:44:40 2021
 write: IOPS=16, BW=65.6MiB/s (68.8MB/s)(4008MiB/61100msec); 0 zone resets
   slat (usec): min=1085, max=16085, avg=2423.95, stdev=1544.70
   clat (msec): min=171, max=1944, avg=971.59, stdev=215.76
    lat (msec): min=175, max=1946, avg=974.02, stdev=215.64
   clat percentiles (msec):
    |  1.00th=[  514],  5.00th=[  659], 10.00th=[  718], 20.00th=[  793],
    | 30.00th=[  852], 40.00th=[  911], 50.00th=[  969], 60.00th=[ 1020],
    | 70.00th=[ 1083], 80.00th=[ 1133], 90.00th=[ 1234], 95.00th=[ 1318],
    | 99.00th=[ 1552], 99.50th=[ 1754], 99.90th=[ 1921], 99.95th=[ 1938],
    | 99.99th=[ 1938]
  bw (  KiB/s): min= 8192, max=131072, per=99.47%, avg=66817.45, stdev=19644.53, samples=121
  iops        : min=    2, max=   32, avg=16.27, stdev= 4.82, samples=121
 lat (msec)   : 250=0.10%, 500=0.90%, 750=13.47%, 1000=41.82%
 cpu          : usr=3.12%, sys=0.93%, ctx=1005, majf=0, minf=171126
 IO depths    : 1=0.1%, 2=0.2%, 4=0.4%, 8=0.8%, 16=98.5%, 32=0.0%, >=64=0.0%
    submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
    complete  : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
    issued rwts: total=0,1002,0,0 short=0,0,0,0 dropped=0,0,0,0
    latency   : target=0, window=0, percentile=100.00%, depth=16

Run status group 0 (all jobs):
 WRITE: bw=65.6MiB/s (68.8MB/s), 65.6MiB/s-65.6MiB/s (68.8MB/s-68.8MB/s), io=4008MiB (4203MB), run=61100-61100msec

Disk stats (read/write):
   dm-1: ios=0/1246, merge=0/0, ticks=0/9108, in_queue=9108, util=13.43%, aggrios=36/750, aggrmerge=0/496, aggrticks=1609/7501, aggrin_queue=8556, aggrutil=13.67%
 sda: ios=36/750, merge=0/496, ticks=1609/7501, in_queue=8556, util=13.67%

по iops конечно отрыв лютый