ВН
Локалити... наверно можно кстати даже в витасторе родить какое-то локалити, если данные размазать как-то хитро
Size: a a a
2021 August 23
ВН
Дискуссию прочитал, не, не очень получилась интересная
МК
Реад кеш локально имеет смысл делать. А врайт ввиду домена отказа всеравно надо разбрасывать подальше
ВН
Да это винда, не интересно. На линукс десктопах я латенси её мерил, она была херовая, порядка 100 мкс
T
Не будем кривить душой, на деле межхостовый RTT сравним со чтением локального NVMe. Вопрос в другом: в каких кейсах действительно критична задержка на чтение малым блоком не 100, а 50 us? И почему сеть так спроектировали, что в неё можно упереться при worst scenario.
МК
В кейсах find ./ На большой фс
МК
Или гит чекаут
МК
Там прочитал-подумал-прочитал-подумал
N
эээ. Так сравнивать надо не с тем, что в теории МОЖЕТ дать локальный NVMe, а с тем, что дает СХД в итоге на базе дисков с локальными NVMe. И ответ там - сотни мкс просто потому что, что тормозит не сеть, а выше по стеку.
A
Мне интересно, я до сих пор думаю что не может такого быть что сходить на nvme из процессора по скорости то же самое что и по сети, как-то это странно.
ВН
nvme быстрее, естественно
T
Ну неее, SDS latency это уже сумма всех остальных, от backing storage до сети и всяких вычислений.
ВН
точнее, как...
N
вот чтение по сети в полный рост. Без RDMA.
T
Не тот кейс, когда время действительно критично.
N
локальный - безусловно. Но вот только проблема в том, что над ним дохрена логики и процессов, которые добавляют latency заметно больше того, что дает сеть
A
отлично, на nvme в 15-20 раз быстрее
N
еще раз - локальный NVMe НАМНОГО быстрее. Особенно, если это какой-нить оптан. Только вот СХД на базе Оптана будет намного медленнее
ВН
если быть точным то вот так:
- чтение хоть nvme, хоть ssd 4k ~ 0.1ms (100us). не веришь - проверь fio -iodepth=1 -rw=randread. быстрее только Optane и ещё чувак один в чатике витастора говорит что Intel 5510 (но последнее пока не гарантированно)
- обращение по сети за чтением 4k - порядка 50us. RDMA 20-30us. если тормозная сеть то может быть и 100us и выше
- чтение хоть nvme, хоть ssd 4k ~ 0.1ms (100us). не веришь - проверь fio -iodepth=1 -rw=randread. быстрее только Optane и ещё чувак один в чатике витастора говорит что Intel 5510 (но последнее пока не гарантированно)
- обращение по сети за чтением 4k - порядка 50us. RDMA 20-30us. если тормозная сеть то может быть и 100us и выше
T
👍🏻