Size: a a a

SDS и Кластерные FS

2020 December 01

МН

Михаил Новоселов... in SDS и Кластерные FS
ivdok
Did you just assume its gender?
Yes. I am Russian, mne mozhno.
источник

i

ivdok in SDS и Кластерные FS
Виталий На Заборе
Хуй проссышь, где имя, где фамилия
Звучит скорее как заклинание призыва демонов из трешового хоррора середины нулевых
источник

i

ivdok in SDS и Кластерные FS
...Собственно, как и любая шелл-команда длиннее трёх слов
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
ivdok
Звучит скорее как заклинание призыва демонов из трешового хоррора середины нулевых
Это главный стораджист в интеле короче
источник

i

ivdok in SDS и Кластерные FS
Виталий На Заборе
Это главный стораджист в интеле короче
Мы обречены
источник

D

Denis in SDS и Кластерные FS
Виталий На Заборе
Это главный стораджист в интеле короче
Главная каста индусов
источник

Am

Alexander mamahtehok in SDS и Кластерные FS
Виталий На Заборе
Делаем ставки, доебу я интел или нет по теме с SSD D3-4510
а чо тебя с ними случилось?
источник

Am

Alexander mamahtehok in SDS и Кластерные FS
поймал периодические задержки в несколько мс?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Alexander mamahtehok
а чо тебя с ними случилось?
Я на них нашёл прикол производительности. Дело не в периодических задержках. Дело в том, что если пишешь несколько раз подряд в один и тот же сектор (подряд = если не перезаписать между двумя перезаписями одного сектора примерно хотя бы 128 кб других секторов) - то оно тормозит примерно в ~10 раз

Воспроизвести можно так:

$ fio -direct=1 -rw=write -bs=4k -size=4k -loops=100000 -iodepth=1
-> 3142 iops

$ fio -direct=1 -rw=write -bs=4k -iodepth=1
-> 26k iops
источник

Am

Alexander mamahtehok in SDS и Кластерные FS
Виталий На Заборе
Я на них нашёл прикол производительности. Дело не в периодических задержках. Дело в том, что если пишешь несколько раз подряд в один и тот же сектор (подряд = если не перезаписать между двумя перезаписями одного сектора примерно хотя бы 128 кб других секторов) - то оно тормозит примерно в ~10 раз

Воспроизвести можно так:

$ fio -direct=1 -rw=write -bs=4k -size=4k -loops=100000 -iodepth=1
-> 3142 iops

$ fio -direct=1 -rw=write -bs=4k -iodepth=1
-> 26k iops
прикольно. я думал это проблема перепонения буфера на контроллере
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Alexander mamahtehok
прикольно. я думал это проблема перепонения буфера на контроллере
и если повторить с глубиной очереди > 1 то тоже - условно

$ fio -ioengine=libaio -name=test -bs=4k -direct=1 -numjobs=1 -iodepth=16 -offset=90% -loops=100000 -size=4k -rw=write -filename=/dev/sde
-> 4384 iops

$ fio -ioengine=libaio -name=test -bs=4k -direct=1 -numjobs=1 -iodepth=16 -offset=90% -loops=100000 -size=1G -rw=write -filename=/dev/sde
-> 67k iops
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Alexander mamahtehok
прикольно. я думал это проблема перепонения буфера на контроллере
то есть выглядит так, как будто прошивка говно и сериализует записи в один и тот же сектор
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
пока прошлая не заканчивается - новая не начинается
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
жопа в том, что например у Linstor-а есть маленькая фиксированная область метаданных - bitmap
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
в который ПОСТОЯННО идёт запись почти по одним и тем же смещениям
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
поэтому Linstor на этом кластере ведёт себя мегаотвратительно
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
я где-то выше постил - условно 700 иопс
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
или 300. что-то типа того
источник

Am

Alexander mamahtehok in SDS и Кластерные FS
ну у меня на таких лежат бд и кеши цефа
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Alexander mamahtehok
ну у меня на таких лежат бд и кеши цефа
а на цеф почти не влияет, вроде, т.к. rocksdb не пишет в один и тот же сектор подряд несколько раз
источник