От этого всего можно/нужно себя обезопасить, установив в компании Artifactory/Nexus в качестве прокси, и все артифкаты для билдов получать через него, а не из интернета.

Да, у меня в беклоге есть такая задачка

Как можно сделать отчет для каждого pipeline в гитлаб?

Результаты делаются автоматически, если к тестам прикручен аллюр.
Если в pipeline одна джоба с тестами, то будут одни результаты, если две, то два.

Чтобы создать репорт нужно выполнить allure-generate для результатов. Для этого требуется allure command line с java.

Сохранить результаты можно в артефакты gitlab, или выгрузить на отдельный server и на нём сгенерировать отчёт. На картинке пример, как я это вижу в gitlab. Сейчас у меня аналогичное решение, но вместо gitlab artifacts и pages выступает сервер nginx.

Под номер пайплайна публикуй пейджес с репортом

Или под ветку, зависит от того когда репорт нужен

Хоть под коммит, зависит от того какая политика чистки репортов будет

могу я узнать сколько по времени исполнялся каждый степ?

если использовать аннотацию @Step - то в отчете видно сколько выполнялось все что внутри этого степа

в интеграции allure-selenide у шагов селенида также есть время выполнения

Я в TestNG в IInvokedMethodListener меняю статусы тестов, через метод afterInvocation.

Причем любого, с любым экзепшеном, логику туда вынес

а по поводу gitlab page как можно узнать полный путь до html сохраненного отчета?

Точно не знаю, но судя по документации самого гитлаб полная ссылка на один отчёт будет такой

https://_projectname.gitlab.io/_environment/_branch/job_XXX

только конечно из моей картинки стоит выпилить project_name, так как он уже в pages заложен.

А в gitlab-ci.yml  команду если прописать типо echo....?

речь о том, чтобы получить ссылку на отчёт?
1. можно прописать переменную в которую будет подставляться значение конкретных переменных, и она будет печататься ссылкой в console.log
2. можно сделать интеграцию со slack и там через pytest-slack (если python) передавать ссылку на репорт.

Спасибо, буду думать

а у кого то  была проблема что скриншоты то цепляются, то не цепляются к фейловым шагам? судя по логу скрин делается всегда, а вот в отчет не всегда попадает

А какой ЯП и фреймворк?

Яп?)