Есть несколько маркеров, на которые я бы попробовал обратить внимание в первую очередь:
1. Тесты, которые ходят в интернет и обращаются к внешним сервисам потому, что их забыли замокать.
2. Тесты, которые создают в базе уйму ненужного мусора, потому что нерационально используются фабрики и шаред контексты.
3. Сложные, функциональные, интеграционные тесты, которые написаны в TDD-стиле "отдельный экспектейшн на каждую проверку".