В AllureLifecycle (Java) каждый раз, когда мы создаём аттачмент, allure генерирует рандомное имя для него. Один из вариантов, о котором я думал, просто следить за всеми созданными файлами в директории и потом их просто удалять.
просто после тестов, пройдись по всем json с результатами и удали из них не нужные аттачи, ну и сами файлы.