Ну я написал что нам помогло - ставим кэши на статические файлы, стараемся не качать кучу больших файлов в одном запросе

Выглядит как обходное решение... Envoy плох?

Ну я бы не сказал что плох. Проблему мы у себя заметили только на одном сайте.

Несколько запросов пусть даже с одного хоста при том, что есть реплики пускать в очередь на одну реплику... Что у него тогда балансировщик делает? Где баланс?) У вас же не настроены sticky sessions?

Балансировщик работает. Просто он, очень грубо говоря, открывает на один h2 коннект на ингресс в сторону приложения один tcp коннект для h1

Казалось бы что мешает разделить запросы, протокол уже преобразует, т.е. все равно уже какую-то дополнительную работу совершает

криво, и не особо читабельно, возможно, но хоть как-то объяснить ситуацию поможет.
в общем у нас запрос влетает h2, он отправляет в бэк запросы нормально через отдельные коннекты(дефолтно до 1024, вроде), и даже в разные поды. а вот назад начинаются проблемы. если, например, первым ответит запрос за 60мс с 15Мб данных, а дальше за большее время ответят маленькие запросы. то в клиента через h2 эти запросы и вернутся в этомже порядке. с задержками необходимыми для передачи данных уже клиенту. Например, теже 15Мб клиенту будут доставляться 3 секунды. соответственно пока этот первый запрос относительно ингресса не долетит до клиента, он не начнет отправлять остальные «маленькие».
соответственно, если быстрее ответят «маленькие запросы», то большой пойдет в последнюю очередь

и flow_control как раз таки объясняет как эта схема работает

у нас в одном приложении как раз и удалось всегда воспроизводить эту ситуацию, потомучто «большой» запрос достаточно простой и быстро возвращается приложением, а маленькие немного обрабатываются и отдаются чуть позже большого.

вот, надесюсь кому-то поможет)

Странно, в http2 же мультиплексирование, ничего енвою не мешает  вставить  ответы  от маленьких запросов между фреймами ответа на большой запрос

Интересные детали, спасибо

вот мы также подумали, а потом почитали флоу_контрол)

Поставил istio, kiali красивый дашборд. Вот только не понимаю - можно ли как-то отметить внешний сервис, чтобы на графе было видно какие сервисы в кубере с ним общаются?

догадался похоже, надо service entry запиливать

вроде, да, в киали  виртуальные сервисы тоже должны быть видны

Это один вопрос. А второй вопрос - мне там нравится вот такое https://linkerd.io/2/tasks/setting-up-service-profiles/
В истио так можно? Гуглеж пока ничего не дает.

Господа, а кто-нибудь linkerd в проде юзает? Каковы впечатления?

Привет братишкам Istio-водам.

Интересует кто и как пытался подружить Headless Service (Например мого RS и т.д.) с Istio?

Пока нагуглил только использование ServiceEntrie c MESH_INTERNAL

Monzo банк использовал, красочно рассказали года два назад, как всё легло :)