просто некоторое время долго отвечал

ты изначально писал, что ответ сервиса должен быть 1мс, потом писал что он прилетал за 10мс, и иногда не прилетал вообще

медиана в обычное время — 1ms

ну то есть вы такой сценарий вообще не рассматривали?

но иногда существенно дольше. Поэтому большой таймаут

а что прописано в SLA?

это легаси дрянь, какое SLA?

Так ведь это и есть «лёг»

некоторое время — несколько секунд

ну вопрос к управленцам, если вы подвязываетесь на легаси говно-сервис без СЛА, и вы не тестировали сценарий, когда он вообще умер?

еще раз, это даже не проблема архитектуры, это проблема административная

все что может лечь - ляжет

Ну и это - там же мониторинг всей внешки должен быть?

надо исходить из этого

В свою очередь, я тоже могу рассказать клевую историю

и мы видим, что из данного кейса вы сделали не совсем правильные выводы, и кастуете новую мантру как универсальное решение

вывод только один. Админ проблему решить не может, даже читая код. Разработчик — тоже плохо понимает как копать. С комплексным видением — решилась

а когда эта ситуация случилась? сколько еще внешних сервисов вы используете? сколько из них мониторите? замеряете ли у них SLA? отрабатываете ли сценарий падения внешнего сервиса? вы не проблему решили, а один из вариантов симптома более комплексной проблемы

в архитектуре предусмотрена возможность падения, случаи полного падения были и их пережили без особых потерь для пользователей

Так вот - был проект на языке Perl (это была рекламная система), местный технический лидер перед увольнением успел продать асинхронщину, новый технический лидер асинхронщину справедливо не любил, но ее уже купили! Система под нагрузкой ни с того ни с сего начинала адски тупить на внешних запросах. Внешний сервис, при этом, работал отлично.
Понадобились сутки ныряния в местный userspace планировщик (Марк Леман - гений, кроме шуток), чтобы понять, что на внешку ходили
тадам! тадааам! и Оскар уходит к!..
...асинхронным клиентом, который привык обычно эмулировать браузер, с общей глубиной очереди 3
Если запросов скапливалось больше, начинался почти бесконечный цикл репланнинга