Такие схемы и правда совсем ненадежные, хрупкие и причиняют много багов. А что если какой-то процесс должен был рестартовать, а не рестартовал? А если другой процесс рестартовали? А если там чего-то неправильно пошло?

В случае "опс" надо думать не о happy path, а о том, что может пойти не так, и как бы сделать систему более предсказуемую.

Пока что лучшее, с чем я работал - это blue/green deployment. То есть рядом стартуем инстанс, ждем, пока он не станет работать, а затем переводим трафик на него, а старый graceful shutdown'им. Так работает Marathon + при определенных настройках кубернетес.

Это и без докера делается, кстати. Капистрано позволяет что-то подобное организовать в пределах одного хоста. Там суть простая - деплоим приложение в другую директорию, стартуем, добавляем еще один апстрим nginx'а, затем nginx reload и ждем, пока новое приложение не оклемается. Оклемалось - SIGINT в старое и ждем, пока оно не доработает. Доработало - убиваем.

Это Zero Downtime, однако в то же время, самая надежная схема сделать подобные вещи, особенно если хелсчеки, liveness/readiness probes реально проверяют чего-то внутри инстанса

Мы обновлялись в своё время потихоньку на все новые версии и у нас таких вопросов не возникало. Наверное мы просто не мониторили нагрузку на диск и нам было пофиг на неё если и так всё работает.

Я не понял где что искать  в картинках.. Скажи сколько было IOPSов и сколько стало

это столько под нагрузкой??

не, 6 тысяч постоянно держится, я думаю что это journal (типа write ahead log что-то) а до 40 прыгает раз в минуту, когда этот журнал в персистент вид сливается.

а на инстансах со старым движком ~2000 и 20_000 соответственно

ну домашние SSD выдают порядка 20к IOPS.. У тебя 40к, но вроде нет лимита что это прям надо сделать за секунду, поэтому в диск вы не должны упираться.  Насколько это сократит время жизни SSD, тяжело сказать, но я не слышал чтобы кто-то этим замарачивался. Диски считаются расходником, к тому же они стали достаточно дешевыми.

Если это прям проблема, то надо смотреть на базу и понять почему там много записей у вас получается. Может вы где то не эффективно используете монгу и делаете лишние запросы.
Проверять это либо глазками все запросы к монге, либо делать лоадтест и прикидывать сколько значений вы меняете в этом тесте. Если IOPSов больше, чем на пальцах считается, то значит надо смотреть запросы и искать лишние