Вот ты делаешь запрос в сторонний микросервис, а его там ддосят. Он твой запрос поместил в очередь и до него не добрался. По тайм-ауту - ты получаешь "до свидание" в виде 502

Стоп. 504... Сорри

Ну вот и ответ. Асинхронный клиент, чаще всего, под капотом имеет некий observer, который и ожидает пока не получит результат и берет на себя всю ответственность за получение результата (положительный или отрицательный с точки зрения логики, а не ответа от сервера что он слишком занят). Мне нравиться этот пример разбирать больше со стороны сервера.
Например, Webflux. Создай 2 endpoint'а - один обычный, а другой заверни в Flux или Mono. Включи дебаг и поставь breakpoint чтобы залочить выполнение. Далее, отправь запрос с Postman или SoupUI и увидишь разницу. В первом случае - ты отвалишься через определенный timeout с 504 в своем клиенте, но backend так и будет работать дальше. Во втором - неблокирующие очереди берут своё и ты будешь висеть до тех пор, пока backend не обработает твою операцию.

Тебе гарантируют, что ты получишь результат.

Почитай поподробнее про backpressure

Правильно ли я понимаю что тот же HttpAsyncClient не создает отдельный поток на ожидание каждого запроса?

Давай так отвечу.
https://stackoverflow.com/questions/34505271/how-does-httpasyncclient-4-work

By default HttpAsyncClient permits only two concurrent connections to the same host per RFC 2616 specification. This limit has nothing to do with the number of i/o dispatch threads used internally by the i/o reactor.

Опять же. У тебя потоки под капотом. Ты про них, ничего не знаешь. Тебе только гарантируют, что ты получишь результат

Просто видимо не могу простыми словами это объяснить :(

забудьте про дерганье бека с фронта. Если делаете игру, то только вебсокеты. Отправка хода, получение данных. Только вебсокеты. Никаких гет и пост запросов

Почему?

Вебсокеты быстрее, легче, асинхронны.

чтобы через гет запрос фронту получить результат, ему нужно много раз его запросить пока не получит нужный. Веб сокеты же будет просто ждать ответа от бека. Т.е. не будет лишней нагрузки на сервер

а если, допустим, фронт будет каждую секунду дергать бек, то при увеличении онлайна получится ддос атака на самого себя

есть другой вариант - лонг пул. Но тут уже другая проблема - ограничение по числу коннектов

есть еще гибрид - отправка пост/гет, получение данных через SSE.

А сколько вебсокетов я могу открыть одновременно, чем это регуллируется?

ОС?

между двумя ипами максимум 64к

Это много или мало