Size: a a a

SDS и Кластерные FS

2020 October 09

S

Sergey in SDS и Кластерные FS
Спасибо за доку
источник

NS

Nik Sh in SDS и Кластерные FS
nanomechanic
4 ядра, правда виртуальлные. но на хосте нет загрузки
Tcp fast open ещё можно попробовать
источник

n

nanomechanic in SDS и Кластерные FS
Nik Sh
Tcp fast open ещё можно попробовать
это я врубал, надо perf погонять, вдруг тормоз найдется
источник

n

nanomechanic in SDS и Кластерные FS
но у меня там альпайн с кастомным ядром...
источник

NS

Nik Sh in SDS и Кластерные FS
Ещё синкуки можно вырубить
источник

NS

Nik Sh in SDS и Кластерные FS
И ведро 5.8 взять, у меня на нем tcp антисинфлудилка переваривала процентов на 40 больше
источник

n

nanomechanic in SDS и Кластерные FS
у меня на 5.8 lsi sas контроллер глючил.
хмм, рабоает перф, только все время жрет ksoftirqd, ну и перф реально по-мелочовке показывает
источник

NS

Nik Sh in SDS и Кластерные FS
nanomechanic
у меня на 5.8 lsi sas контроллер глючил.
хмм, рабоает перф, только все время жрет ksoftirqd, ну и перф реально по-мелочовке показывает
Прерывания по ядрам раскинуты?
источник

n

nanomechanic in SDS и Кластерные FS
источник

n

nanomechanic in SDS и Кластерные FS
rx steering я не настраивал
источник

AT

Alex Tkachuk in SDS и Кластерные FS
Nik Sh
Ещё синкуки можно вырубить
Синкуки не включаются пока очередь не наполнится.
Conntrack тоже в топку
источник

n

nanomechanic in SDS и Кластерные FS
 50:          0          0          0    8022695   PCI-MSI 524288-edge      eth7-tx-0
51:    2332567          0          0          0   PCI-MSI 524289-edge      eth7-rx-0
52:          0        156          0          0   PCI-MSI 524290-edge      eth7
53:          0          0      17024          0   PCI-MSI 1048576-edge      eth8-tx-0
54:          0          0          0    4033072   PCI-MSI 1048577-edge      eth8-rx-0

да, по одной очереди, надо настраивать.
conntrack вообще непонятно откуда взялся: nginx запущен в докере, без привилегий, в отдельном (пустом) контейнере ему напердолена сеть из двух sr-iov стевух с бондом. nf/iptables там не юзается.
источник

n

nanomechanic in SDS и Кластерные FS
шайтан докер со своим фаерволом таки залез туда, ага.
источник

A

Aleksei in SDS и Кластерные FS
nanomechanic
 50:          0          0          0    8022695   PCI-MSI 524288-edge      eth7-tx-0
51:    2332567          0          0          0   PCI-MSI 524289-edge      eth7-rx-0
52:          0        156          0          0   PCI-MSI 524290-edge      eth7
53:          0          0      17024          0   PCI-MSI 1048576-edge      eth8-tx-0
54:          0          0          0    4033072   PCI-MSI 1048577-edge      eth8-rx-0

да, по одной очереди, надо настраивать.
conntrack вообще непонятно откуда взялся: nginx запущен в докере, без привилегий, в отдельном (пустом) контейнере ему напердолена сеть из двух sr-iov стевух с бондом. nf/iptables там не юзается.
docker подгружает xt_nat, а он зависит от nf_conntrack
источник

A

Aleksei in SDS и Кластерные FS
источник

n

nanomechanic in SDS и Кластерные FS
думал, что если я оставлю контейнер вообще без докеровских сетей он не будет там заниматься самоуправством, а вот хрен
источник

n

nanomechanic in SDS и Кластерные FS
надо на подмэн переходить
источник

A

Aleksei in SDS и Кластерные FS
с docker-ом можно (нужно) LVS использовать
источник

AT

Alex Tkachuk in SDS и Кластерные FS
nanomechanic
шайтан докер со своим фаерволом таки залез туда, ага.
Так он без контрака и не будет работать (докер)
источник

n

nanomechanic in SDS и Кластерные FS
у меня сетап с сетевухами в неймспейс закинутыми, будет
источник