угу и в мобильном приложение будет написано: вас счет эвеншуал консистенси

@KulikovNikolay
Подскажи пжл, мб знаешь, есть ли у vmware проблемы с подключением стандартного ядерного nvme таргета?

При подключении vmware nvmeof инициатора, nvmet-rdma логирует ошибку и подключение завершается с ней.

kernel: [ 9395.663595] nvmet_rdma: failed to create_qp ret= -12
kernel: [ 9395.663596] nvmet_rdma: nvmet_rdma_alloc_queue: creating RDMA queue failed (-12).

Причина, вроде как, состоит в неком ограничении при вызове create_qp(то есть создании Queue Pair - пары очередей, на уровне RDMA).

Похоже ESXi(spdk) использует по дефолту queue-size значение 1024, и ядро не может это обработать и возвращает ошибку

а что в логах самого ESXi по HPP/NMP? Ну и какой статус, если сделать esxcli nvme discover.

В логах esxi подобное

2021-08-18T13:57:15.730Z cpu1:2102382)nvmerdma:721 [ctlr 263, queue 1] disconnect world dying, exit.
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)nvmerdma:1285 Failed to connect IO queue 1 for controller 263: Failure
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMFDEV:1570 Failed to (transport) connect to IO queue 1 (qsize 1024), status: Failure
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMEDEV:1040 Ctlr 263, Failed to create IO queue 1. Status: Failure
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMEDEV:1052 Ctlr 263, configured IO queues 0 less than required 1.
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMEDEV:2492 Failed to configure IO queues, status: Not supported
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)NVMEDEV:4211 controller 263
2021-08-18T13:57:15.738Z cpu15:2102380)NVMEDEV:5112 recover controller 263 finish.
2021-08-18T13:57:15.738Z cpu15:2102380)NVMEDEV:5117 recovery world of controller 263 exit.
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)NVMEDEV:4940 controller 263 recovery world destroyed.
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMEDEV:3621 Failed to initialize controller, status: Not supported.
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMFDEV:590 Failed to register controller 263, status: Not supported
2021-08-18T13:57:15.738Z cpu0:2099946 opID=2dd5ee3b)nvmerdma:1137 [ctlr 263]
2021-08-18T13:57:15.739Z cpu26:2097865)nvmerdma:738 [ctlr 263, queue 0] event 10
2021-08-18T13:57:15.739Z cpu19:2102378)nvmerdma:2120 [ctlr 263, queue 0] Beacon completion succeeded, wrid 0xfffffffffffffff2 op 0x0 status 0x5
2021-08-18T13:57:15.755Z cpu7:2102379)nvmerdma:721 [ctlr 263, queue 0] disconnect world dying, exit.
2021-08-18T13:57:15.762Z cpu0:2099946 opID=2dd5ee3b)nvmerdma:1172 controller 263 disconnected
2021-08-18T13:57:15.762Z cpu0:2099946 opID=2dd5ee3b)NVMEDEV:761 Ctlr 263 freeing
2021-08-18T13:57:15.762Z cpu0:2099946 opID=2dd5ee3b)NVMEDEV:4872 Cancel requests of controller 263, 0 left.
2021-08-18T13:57:15.762Z cpu0:2099946 opID=2dd5ee3b)WARNING: NVMFVSI:1059 Failed to connect to controller, status: Not supported

Сам esxi видит nvmeof subsystem, но не может подключиться

В рассылке ядра нашлось подобное - https://lore.kernel.org/linux-nvme/CA3F5384-4B57-47ED-9DFE-27E80F3D312C@primelogic.nl/

Поэтому подумал, мб ты уже сталкивался с таким как-то

https://docs.vmware.com/en/VMware-vSphere/7.0/vsphere-esxi-vcenter-server-70-storage-guide.pdf
вот в этой доке на странице 171, п.5, есть упоминание параметра queue size при создании адаптера для NVMe-oF RoCEv2

При подключении с указанием queue size = 8, 16, 32 при создании адаптера та же ошибка "Unable to connect.". При подключении с указанием queue size = 64, 128, 818, 1024 - ошибка "Unable to connect to the specified transport target using the provided connection specification".

Странное число 818 взялось эмпирическим путем, максимальное значение queue size при котором стандартный ядерный nvmeof инициатор может приконнектиться к таргету

nvme connect -t rdma -a 10.20.0.1 -n nqn.2021-09.com.nvmeof:subsystem0 --queue-size=818

А сторедж есть в списке HCL VMware?

Нет, я же про обычный kernel nvmet-rdma пишу

проблемы с подключением linux таргета точно были - https://communities.vmware.com/t5/ESXi-Discussions/NVMEof-Datastore-Issues/td-p/2301440 C высокой вероятностью это связано совсем не с SPDK, а claimrules и его параметрами - https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.storage.doc/GUID-6035DE0C-9285-4D37-B631-A7DC3606DB61.html

Ок, спасибо! Покопаю в эту сторону

https://github.com/philipl/pifs

бугагашечки =)

Ребят, кейс тут появился. Насколько ПЛОХАЯ идея развернуть SeaweedFS поверх Gluster'а?

ООО

Я знаю, что это плохая идея, но мне нужно знать, насколько, чтобы отговорить людей

Причём водоросля в докере будет, как и гластер

Я не тестил гластер нормально честно говоря))