Как человек, который уже полтора года грызёт куб скажу: нет простых способов сделать действительно сложные вещи. Куб очень низкоуровневый, зато можно почти всё. Очень хочется какой-то прямой и понятной обёртки с человеческим лицом для простых инсталляций. Ну или с мордой котика...
Из своего опыта скажу, что не надо тащить 100500 разных инструментов. Обычно достаточно самого куба и kustomize. Как только тащите helm, так сразу теряете контроль и система начинает казаться слишком сложной и магической.

а как обновлять приложение тогда?

Мы пока живём на композе, но есть желание привертеть что-то для работы сразу с несколькими серверами. Про кубер я давно понял, что это "пушка" для наших "воробьёв" и пока в голове держу swarm. Может ещё что-то нового потом погляжу.

У меня за три дня до старта проекта кластер сворма просто развалился и не собрался обратно. За пол дня ковыряний я не понял, что это было и выкинул его нафиг: заменив обычным докером и make-командами. Было больно. Больше не хочу даже смотреть на него.

Внезапно )

Композ — боль. Мы прямо много его использовали. Только для локальной разработки пойдёт. На серверах, если без куба, то лучше чистым докером обойтись.

Со свормом слегка напрягает overlay и ssl на весь трафик внутри него. Это конечно сесурити и всё такое. Но как оно скажется на скорости - фиг знает.

У нас был CoreOS. Жаль, что он загнулся...

У нас не было критичных требований по скорости трафика внутри кластера. Так что не скажу.

В целом, сегодня для любой инсталляции больше десятка сервисов (включая БД), я бы брал куб. Удобно оно, когда в его терминах думать начинаешь.

Ещё из важного: не занимайтесь только поддержкой куба сами. Только куб как сервис. Ну или ищите специально обученного человека.

А вот то, как просто развернуть сворм - это прям сказка. На одном сервере пишешь: "ты мастер". И готово, он тебе выдаёт команду, которую надо выполнить на воркерах. Оно всё само потом склеится

К слову, в яндексе, внезапно, очень неплохо куб реализован. Могу рекомендовать...

А в какой момент у меня не оказалось ни одного мастера, потерялась связность между подами и хуй знает, как это было отлаживать.

Я реально не понял, как понять проблему.

Ни одного подходящего сообщения в логах не было.

золотые слова

У нас и без всяких контейнеров такое бывает на виртуалках 😊

У нас не бывает.

В данном случае это были инстансы EC2.