a
всех юзеров, с консоли тип работает все
Size: a a a
2021 September 15
AB
Вот у бенча Intel и сеть в 100G и Optane под журнал, а производительность random 4k меньше 2000 IOPS (т.е. меньше 100Мбит/c) пруф: https://01.org/blogs/tingjie/2020/research-performance-tuning-hdd-based-ceph-cluster-using-open-cas
AB
По приведенной выше ссылке https://downloads.dell.com/manuals/common/dell-emc-poweredge-r730xd-redhat-ceph-perf-sizing.pdf DELL вообще "забыл" измерить random IOPS ;)
AB
По официальному бенчмарку Ceph от Proxmox со 100G и nvme в качестве дисков случайные операции измерили... https://www.proxmox.com/en/downloads/item/proxmox-ve-ceph-benchmark-2020-09
Только "случайными" там называют операции блоками по 4МБ. Т.е. по 1000 раз по 4k -)
Только "случайными" там называют операции блоками по 4МБ. Т.е. по 1000 раз по 4k -)
AB
Дак чё там, у кого Ceph развернут, 100G и SSD обвешан, random r/w по 4k сколько будет? Похвалитесь что-ли -)
ВН
это да, все "специалисты"
ВН
https://yourcmc.ru/wiki/Производительность_Ceph вот покури мою статью
ВН
пример теста у меня на страничке @vitastor-а есть. 4 ноды по 6 сата ссд, 25Г сеть
ВН
итого на цефе вышло
T1Q1 write ~1000 iops (~1ms latency)
T1Q1 read ~1750 iops (~0.57ms latency)
T8Q64 write ~100000 iops, total CPU usage by OSDs about 40 virtual cores on each node
T8Q64 read ~480000 iops, total CPU usage by OSDs about 40 virtual cores on each node
T1Q1 write ~1000 iops (~1ms latency)
T1Q1 read ~1750 iops (~0.57ms latency)
T8Q64 write ~100000 iops, total CPU usage by OSDs about 40 virtual cores on each node
T8Q64 read ~480000 iops, total CPU usage by OSDs about 40 virtual cores on each node
ВН
а на витасторе -
T1Q1 write: 7087 iops (0.14ms latency)
T1Q1 read: 6838 iops (0.145ms latency)
T2Q64 write: 162000 iops, total CPU usage by OSDs about 3 virtual cores on each node
T8Q64 read: 895000 iops, total CPU usage by OSDs about 4 virtual cores on each node
Linear write (4M T1Q32): 2800 MB/s
Linear read (4M T1Q32): 1500 MB/s
T1Q1 write: 7087 iops (0.14ms latency)
T1Q1 read: 6838 iops (0.145ms latency)
T2Q64 write: 162000 iops, total CPU usage by OSDs about 3 virtual cores on each node
T8Q64 read: 895000 iops, total CPU usage by OSDs about 4 virtual cores on each node
Linear write (4M T1Q32): 2800 MB/s
Linear read (4M T1Q32): 1500 MB/s
PA
Смешивать понятия пропускной способности и ёпсов.. Совсем пичалька... 🙊🙈
ВН
хотя подождите, щас подумаю немного, возможно сам пизжу.
ВН
ну да, всё-таки наверное не совсем верный расчёт, т.к. если цеф, то всё-таки трафик размазывается по всем серверам
ВН
ну да, наверное всё-таки 1 гбит/с лимит и будет, если клиент отдельный
ВН
ладно, удаляю. :)))
PA
Что есть random read write в распределенной системе и чем он может отличаться от sequential? :)
ВН
ну может и ничем, но по 4 мб таки рандом тестить это маразм, да
ВН
это не рандом
ВН
ну и тут они 100% пиздят - в том смысле что у них цифры 2232 и 266896 иопс из РАЗНЫХ РЕЖИМОВ ТЕСТИРОВАНИЯ