а есть линк на хороший степ-гайд?

Неа

А как правильно сохранять логи с подов, с каждого пода в файл или со всех подов в 1 файл?

Я новичок. Сохраняете на подах или на мастере? Как правильнее?

stdout?

GoogleContainerTools/skaffold description changed: v1.6.0
Link: https://github.com/GoogleContainerTools/skaffold/releases/tag/v1.6.0
Release notes:

# v1.6.0 Release - 03/19/2020

_Note_: This release comes with a new config version `v2beta1`. To upgrade your `skaffold.yaml`, use `skaffold fix`. If you choose not to upgrade, skaffold will auto-upgrade as best as it can.

Highlights:

*   Support ...

More

GoogleContainerTools/skaffold description changed: v1.6.0
Link: https://github.com/GoogleContainerTools/skaffold/releases/tag/v1.6.0
Release notes:

# v1.6.0 Release - 03/19/2020

_Note_: This release comes with a new config version `v2beta1`. To upgrade your `skaffold.yaml`, use `skaffold fix`. If you choose not to upgrade, skaffold will auto-upgrade as best as it can.

Highlights:

*   Support ...

More

Поды пишут в stdout/stderr который, в свою очередь, пишется в файл и ротейтится самим докером. Логгинг агент запускается демонсетом на каждой ноде, ему дают доступ к файловой системе с логами докера и дальше он уже вычитывает логи для всех подов на ноде.
Опция2: если у нас ограничения на запуск демонсетов на ноде, то агент прикручивается к каждому поду как сайдкар и делает все то же самое, но для одного пода. Это, конечно, куда менее экономно.

А можете пример логгинг-агента показать? Этот fluentd? Как ему указать, где собирать логи, если поды меняются?

Загляните в чарт stable/fluentd-elasticsearch, отрендерите манифесты с дефолтными настройками и посмотрите на демонсет и его конфигмап.

У fluentd есть специальный input plugin kubernetes который добавляет теги в лог ивенты. Например имя пода, неймспейс, метки, образ с которого ранится и тд. Потом все эти данные доступны для поиска в эластике.

google/metallb tagged: v0.9.0
Link: https://github.com/metallb/metallb/releases/tag/v0.9.0
Release notes:

See the release notes for details:

[https://metallb.universe.tf/release-notes/#version-0-9-0](https://metallb.universe.tf/release-notes/#version-0-9-0)

google/metallb tagged: v0.9.1
Link: https://github.com/metallb/metallb/releases/tag/v0.9.1
Release notes:

See the release notes for details:

[https://metallb.universe.tf/release-notes/#version-0-9-1](https://metallb.universe.tf/release-notes/#version-0-9-1)

google/metallb tagged: v0.9.2
Link: https://github.com/metallb/metallb/releases/tag/v0.9.2
Release notes:

See the release notes for details:

[https://metallb.universe.tf/release-notes/#version-0-9-2](https://metallb.universe.tf/release-notes/#version-0-9-2)

у нас приложухи пишут логи в stdout в json формате.

в качестве агентов на каждой ноде запущен демонсетом filebeat. Файлбит шлет сразу в еластик.

в настройках файл бита можно указать, чтоб логи брал только с тех подов у которых задан нужный лейбл

Если json, то лучше fluentd. У меня проблема с java ошибками, и общим логами. В итоге 4 разных формата. Вопрос: как указать путь и файл для того же fluentd, если поды меняются(update & restart)?

У fluentd есть парсер. По-моему даже есть отдельный плагин для multiline stack traces, где захардкоженны типичные шаблоны для джавы, пайтона и тд.

prometheus/prometheus tagged: 2.17.0-rc.4 / 2020-03-21
Link: https://github.com/prometheus/prometheus/releases/tag/v2.17.0-rc.4
Release notes:

This release implements isolation in TSDB. API queries and recording rules are  

guaranteed to only see full scrapes and full recording rules. This comes with a  

certain overhead in resource usage. Depending on the situation, there might be  

som...

More

Посоны, какой cni лучше всего выбрать под куб 1.17 на баре метал и redhat/centos 8? Там вместо iptables по дефолту теперь nftables. Пробовал калеку, но она не очень хорошо работает. Нужно простое и надёжное решение.

Flannel?