Телеграмм чат группы sds

Переслано от Виталий На Заборе...

Первый тест - латенси

$ fio -ioengine=libaio -name=test -bs=4k -direct=1 -numjobs=1 -iodepth=1 -randrepeat=0 -rw=randwrite -filename=/dev/drbd1002 -runtime=60

-> Что-то, увы, всего 353 иопс!
Тормозит похоже линстор-то )

02:58пожаловаться #1

ВН

Переслано от Виталий На Заборе...

Что-то прям нереально херово

02:58пожаловаться #2

ВН

Переслано от Виталий На Заборе...

iodepth=32 -> 1900 иопс

02:58пожаловаться #3

ВН

Переслано от Виталий На Заборе...

Это на том же стенде, где vitastor 900000 iops на чтение выдавал

02:58пожаловаться #4

ВН

Переслано от Виталий На Заборе...

С чтением лучше... но собственно оно с локального диска отдаётся, так что немудрено

02:58пожаловаться #5

ВН

Переслано от Виталий На Заборе...

забавно, с iodepth=512 диски на запись таки прогружаются и становится 30к иопс

02:58пожаловаться #6

ВН

Переслано от Виталий На Заборе...

сами диски SATA, т.е. у них очередь 32, т.е. эти 512 это в недрах DRBD где-то длинный конвейер

02:58пожаловаться #7

ВН

Переслано от Виталий На Заборе...

Ну в общем с латенси записи у линстора как то все грустно

02:58пожаловаться #8

ВН

Переслано от Виталий На Заборе...

Забавно что если создать дисклесс ресурс на третьей ноде, то с нее запись iodepth=1 2200 iops

02:58пожаловаться #9

ВН

Переслано от Виталий На Заборе...

А там, где ресурс дисковый, т.е с локальным диском, ~350 иопс

02:58пожаловаться #10

ВН

Переслано от Виталий На Заборе...

При очереди 32 на дисклесс ноде 1800 иопс, т.е даже хуже чем при очереди 1, а при очереди 512 опять все прогружается нормально и получается 30к иопс

02:58пожаловаться #11

ВН

Переслано от Виталий На Заборе...

Ну т.е при максимальном параллелизме будет видимо условно 12*30к иопс на запись, что конечно неплохо. Но с латенси чот жопка

02:58пожаловаться #12

Переслано от Виталий На Заборе

А там, где ресурс дисковый, т.е с локальным диском, ~350 иопс

Очч странно, у тебя 10g?

Попробуй чуть-чуть подтюнить, мы уже несколько лет юзаем подобное:


linstor controller drbd-options \ --max-buffers=36864 \ --rcvbuf-size=2097152 \ --sndbuf-size=1048576

linstor controller drbd-options \ --c-fill-target=10240 \ --c-max-rate=737280 \ --c-min-rate=20480 \ --c-plan-ahead=10

05:10пожаловаться #13

ВН

Group

Очч странно, у тебя 10g?

Попробуй чуть-чуть подтюнить, мы уже несколько лет юзаем подобное:


linstor controller drbd-options \ --max-buffers=36864 \ --rcvbuf-size=2097152 \ --sndbuf-size=1048576

linstor controller drbd-options \ --c-fill-target=10240 \ --c-max-rate=737280 \ --c-min-rate=20480 \ --c-plan-ahead=10

А оно применится онлайн? Я сразу поменял c-max-rate на 2G, т.к оно изначально синкало диски на улиточной скорости, но на существующие образы как то не влияло

10:23пожаловаться #14

ВН

Group

Очч странно, у тебя 10g?

Попробуй чуть-чуть подтюнить, мы уже несколько лет юзаем подобное:


linstor controller drbd-options \ --max-buffers=36864 \ --rcvbuf-size=2097152 \ --sndbuf-size=1048576

linstor controller drbd-options \ --c-fill-target=10240 \ --c-max-rate=737280 \ --c-min-rate=20480 \ --c-plan-ahead=10

А так там даже не 10, а 25г

10:26пожаловаться #15

ВН

Group

Очч странно, у тебя 10g?

Попробуй чуть-чуть подтюнить, мы уже несколько лет юзаем подобное:


linstor controller drbd-options \ --max-buffers=36864 \ --rcvbuf-size=2097152 \ --sndbuf-size=1048576

linstor controller drbd-options \ --c-fill-target=10240 \ --c-max-rate=737280 \ --c-min-rate=20480 \ --c-plan-ahead=10

Да и вообще кстати померьте латенси у себя, на T1Q1

10:28пожаловаться #16

Simplified distributed block storage with strong consistency, like in Ceph

Да и вообще кстати померьте латенси у себя, на T1Q1

Что такое T1Q1, это какой-то бжнчмарк?
Первый линк по запросу "t1q1 latency"

https://vitastor.io

Gitea

vitastor

10:42пожаловаться #17

Должно примениться, если на кокнретные ресурсы вешать, не уверен применится ли автоматически если на controller повесить

10:43пожаловаться #18

На крайняк зайдёшь на ноду и сделаешь drbdadm ajust

10:44пожаловаться #19

Переслано от Виталий На Заборе

Первый тест - латенси

$ fio -ioengine=libaio -name=test -bs=4k -direct=1 -numjobs=1 -iodepth=1 -randrepeat=0 -rw=randwrite -filename=/dev/drbd1002 -runtime=60

-> Что-то, увы, всего 353 иопс!
Тормозит похоже линстор-то )

Прийду на работу запущу у себя