ваши докер контейнеры где бы они ни были общаются по сети и с точки зрения сетевой топологии - это обычные узлы сети. Контейнеры сидят за NATом докер хоста.
Соответственно чтобы один видел другой у вас должна быть или машрутизация трафика или прокси (nginx например) видимый с фронта который будет отправлять запросы на бэк.

В любом случае это вопрос сетевой маршрутизации и аналогичен вопросу "у меня есть два сервера, как сделать чтобы один видел другой" и решается также...

Если бы они были на одном хосте я бы просто из одного контейнера обращался на второй по имени контейнера

поэтому разницы нет
стройте маршрутизацию между хостами

хм, у вас оба контейнера получили сетевые адреса родительской сети?

docker exec -it frontend_container /bin/bash
и попробуйте оттуда достучаться до второго

я не разбираюсь в compose, но полагаю он просто что-то за вас делает
А так - вот у моих контейнеров IP адреса 172.ххх - то есть в сеть, к которой подключен хост трафик NATиться

поднимать кубер ради этого это конечно сильно )