При запросе.

Это заголовок.

Я просто немного не шарю, это куда конкретно?

Покажи, как ты делаешь запрос.

ну вот код весь

А запрос где делается?

Что за audio?

это и есть запрос

это просто яваскрипт обращается к файлу который node.js выдаёт

через express

как то вот так

А, я не был в курсе про Audio.

можно вручную перейти на этот адрес и будет сам файл

Да, верю.

чото я гуглю не могу найти

Если в общем, тут дело в кэшировании, как ты и сказал. Это выглядит так:
1) Делаешь запрос на https://test.ru/audio
2) Получаешь данные.
3) Снова делаешь запрос на https://test.ru/audio.
3.1) Браузер автоматически ставит заголовок if-none-match равным заголовку etag ответа на предыдущий запрос. Будем считать, что это маркер ответа.
4) Прежде чем идти на сервер, браузер проверяет локальный кэш и ищет данные с этим маркером.
4.1) Находит.
4.1.1) Если срок не истёк, возвращает этот кэш.
4.1.2) Идёт снова на сервер.
4.2) Не находит и идёт снова на сервер.

Тут два варианта решения.

ну это понятно

а какие решения