TF
up ;) это все еще чатик про SDS ? ;)
видно нет таких...
и если да, то может мне кто нибудь внятно объяснить
SPDK это только для Intel или для любого NVMe который нормально спеку хотя бы 1.3 поддерживает?
Size: a a a
2020 November 15
ВН
Spdk вроде для любого NVMe (не SATA), но на практике, по-видимому, толку от него 0.001%
ВН
up ;) это все еще чатик про SDS ? ;)
Spdk можешь даже в виртуалке тестить, с драйвером qemu который nvme эмулирует
ВН
Дичь и медленно, но чисто потестить можно
ВН
Но вообще SPDK фуфло, io_uring рулит
IL
Spdk вроде для любого NVMe (не SATA), но на практике, по-видимому, толку от него 0.001%
Почему ты считаешь, что от спдк на практике мало толку?
ВН
Почему ты считаешь, что от спдк на практике мало толку?
Потому что отдельная поддержка нужна, апи не особо удобные, плюс это polling, т.е надо жрать 100% CPU и неудобно это интегрировать с eventloop-ом. Плюс на самом деле и тормоза оно убирает не так хорошо. Эффективность у io_uring считай такая же. То же самое с DPDK, кстати. Я потестил F-Stack + DPDK и получил латенси ХУЖЕ, чем через ядро. То есть в каких-то узких применениях м.б и катит. Конкретно для DPDK это условно кейс DPI/генератора трафика или чего-то еще такого, в общем, где нужно ПСП, но не задержка. С SPDK думаю в чем-то похоже - если узкий кейс, когда софт работает только с диском, то может и будет профит. Правда есть какие-то извраты типа qemu+spdk через какой-то отдельный поток, но применение, опять же, крайне ограничено + жор CPU + все равно переключения контекста + недавно была статья про io_uring passthrough (новое, экспериментальное нечто) и оно там оказалось лучше этого SPDK
ВН
Как-то так
IL
up ;) это все еще чатик про SDS ? ;)
Если вы используете спдк нвмеоф таргет в продакшене, можете потестить csi драйвер, но он все еще в альфе или бете и его можно пока только для разработки юзать
Если вы хотите просто вынести нвме из ядра в юзерспейс, то можно поиграться с драйвером от wd - https://github.com/hgst/libnvme
Если вы хотите просто вынести нвме из ядра в юзерспейс, то можно поиграться с драйвером от wd - https://github.com/hgst/libnvme
ВН
А libnvme это тот же SPDK, только отпиленный от DPDK
ВН
В общем йа в этом kernel bypass-е разочарован
ВН
Вот io_uring да, охуенен
IL
Потому что отдельная поддержка нужна, апи не особо удобные, плюс это polling, т.е надо жрать 100% CPU и неудобно это интегрировать с eventloop-ом. Плюс на самом деле и тормоза оно убирает не так хорошо. Эффективность у io_uring считай такая же. То же самое с DPDK, кстати. Я потестил F-Stack + DPDK и получил латенси ХУЖЕ, чем через ядро. То есть в каких-то узких применениях м.б и катит. Конкретно для DPDK это условно кейс DPI/генератора трафика или чего-то еще такого, в общем, где нужно ПСП, но не задержка. С SPDK думаю в чем-то похоже - если узкий кейс, когда софт работает только с диском, то может и будет профит. Правда есть какие-то извраты типа qemu+spdk через какой-то отдельный поток, но применение, опять же, крайне ограничено + жор CPU + все равно переключения контекста + недавно была статья про io_uring passthrough (новое, экспериментальное нечто) и оно там оказалось лучше этого SPDK
спдк наверное прежде всего надо воспринимать как быстрый нвмеоф таргет, это до сих пор основная вещь, которая в нем работает отлично, и по моему опыту он быстрее ядерного таргета
io_uring это все же несколько другая вещь, и я бы их так не сравнивал напрямую
io_uring это все же несколько другая вещь, и я бы их так не сравнивал напрямую
IL
Но в целом ты прав про узкие кейсы, все кейсы использования спдк в продакшене, которые я знаю, сводились к выплевыванию нвме дисков с jbof в фабрику, где их уже забирают инициаторы
ВН
Каким раком тошиба это hgst?
ВН
Наследие хитачи ну да, я понимаю
ВН
Но при чем тут "отношения не имеют"
ВН