MF
так вот же ты же сам именно это и цитируешь: "kubernetes system daemons are placed under a top level control group"
Size: a a a
2020 August 07
MF
топлевел-то это и есть то самое system
MF
не?
MF
то есть если мы засунули кубелета в runtime.slice, то чем тогда управляет
kubeReserved?..MF
ща я вспомню, как получить доступ к ноде в гугле, но пока что у меня есть такая картинка с бареметал-ноды:
# ls -ald /sys/fs/cgroup/memory/kube*
drwxr-xr-x 6 root root 0 Jul 22 14:24 /sys/fs/cgroup/memory/kubepods
MF
# cat /sys/fs/cgroup/memory/kubepods/memory.limit_in_bytes
101248385024
MF
посмотрим на конфиг кубелета и шедулера для этой ноды
MF
$ kubectl get no web04-amplifr-ru -o jsonpath='{range .status}{"total memory:\t\t"}{.capacity.memory}{"\n"}{"available memory:\t"}{.allocatable.memory}'
total memory: 98875376Ki
available memory: 98772976KiMF
разница между тотал и аллокатабля тут в те самые мифические 100Ми
MF
(потому что у кубелета вообще нет ключей
{kube,system}Reserved)MF
более того:
> 101248385024/1024
=> 98875376
MF
то есть цгруппе
kubepods доступно полное мемори-капасити на нодеMF
даже без вычета ста мебибайт на систем
MF
как блять это вообще intended to work?..
VR
то есть если мы засунули кубелета в runtime.slice, то чем тогда управляет
kubeReserved?..он не управляет им, насколько я понял, тут джентельменам верят на слово - он выделил 100 мб на runtime.slice и не даст шедулеру их занять
MF
ты про кубе-шедулера, или ядерного?
VR
ты про кубе-шедулера, или ядерного?
кубешедулера
MF
ну это понятно, да
MF
так, я попал в гуглоноду
MF
gke-production-autoscale-workers-1-7b1b7612-033h ~ # cat /sys/fs/cgroup/memory/kubepods/memory.limit_in_bytes
2870169600