Ну можно конечно и в ресурсах держать если нет секретных кредов от теста. В application.conf должны быть только конфиги специфичные для окружения. То есть то что ты итак итак должен будешь определить. А потом при запуске надо будет указать откуда взять этот конфиг
переменные окружения не используешь? а то собирать отдельно конфиг под каждое окружение как-то странно
А можно как-то упаковать приложение, чтобы пользователю не надо было устанавливать жаву? (В идеале, чтобы даже сложно было догадаться, что оно на жвм работает)