просто сейчас тесты из разных папок вперемешку
у Allure2 есть раздел Packages, в котором можно сворачивать/разворачивать файловую структуру тестов, судя по вашему описанию, это то, что вы ищете
у меня например это пакет tests
содержащий пакеты features и schemas, внутри еще больше пакетов, в которых уже лежат модули (файлы)