А
А вот это не совсем так работает. Точнее так, но это зависит от уровня тестирования.
Если мы говорим про тестирование как финальный этап обучения модели - то да, всё верно.
Но зачем там участие куак, когда оно является частью сборочных пайплайнов - не очень понятно.
Если мы говорим о тестировании системы, а не модели, то там ассерты конкретных кейсов не менее важны, чем общие метрики.
Если мы говорим про тестирование как финальный этап обучения модели - то да, всё верно.
Но зачем там участие куак, когда оно является частью сборочных пайплайнов - не очень понятно.
Если мы говорим о тестировании системы, а не модели, то там ассерты конкретных кейсов не менее важны, чем общие метрики.
Ассерты там только на АПИ системы, если это так можно назвать. То есть например обработка фрейма должна идти не более например 15мс, это подходит под ассерт. А вот распознание объекта категории Х и получение его параметров в реальном времени по мере перемещения его по сцене - это уже КПИ тесты, так как детектирование имеет вероятностные факторы, и ассертить тут можно лишь какие то базовые вещи "сцене есть грузовик, система должна сообщить что вроде как видит грузовик с такой то вероятностью". И дальше строим графики которые показывают например вероятность существования грузовика за промежуток времени, сравниваем с результатами других моделей, смотрим изменения и тп. У нас количественно КПИ тестов больше например (без учета тестов прошивок железа и тп низкоуровневых слоев)
