В мечтах я хочу вот что:

У меня есть функциональные тесты, которые имеют на выходе 2 состояния - pass/fail (еще логи, стектрейс и пр. - не суть важно сейчас). На данный момент они валятся в ReportPortal, где есть график Total/Pass/Fail vs. test run

Я еще хочу видеть подобные графики, но вида Тест№100500.Метрика_А vs. test run.

И желательно все в одном месте (хехе). Меня не покидает ощущение, что я хочу чего-то странного. Хотя в TeamCity есть кастомные метрики билда, и можно строить графики по ним.

(Репортпортал был развернут левой пяткой и временно, но нет ничего более постоянного, чем временное. Его можно заменить.)

Почему странного? Такое для нагрузочного тестирования самое то. Для функционального обычно избыточно, хотя разные продукты бывают. И таки отклонение от значений типичных может выявить аномалии.  примеры когда место приложение выжирало или память, но такие обычно быстро находятся. А вот закончившиеся inodes :) или стая зомби процессов не всегда на глаз заметна.

Ну вот тут получается, что до полноценного нагрузочного еще не дошло, тем более окружение для этих тестов виртуальное (мы не можем пока сколько-нибудь полноценно виртуализироваться), но какие-то откровенные косяки хотелось бы ловить.

Причем нельзя просто сказать, что "метрика ниже порога, фэйл" - это может быть косяк самого окружения

А что нужно?

Предел посчитать

Опять из конфы ливнул. Ты опоздал

У меня турнирчик был

Что-то порту решили не выигрывать...

Поделом

а кто был математик?

Все норм

а че так тихо

Ночь на дворе

Ах ты ж ебань

Доброе утро