ну не у всех участников коллизии должно быть тело. например, какие-нибудь стены или неподвижные convex mesh коллайдеры могут быть без рижидбади)
если это допустим какой-то террейн километровый, сомневаюсь что там у него будет физ тело)
но оно должно быть у 1 из участников коллиззии, в таком случае, у человека который ходит по этому террейну или у кирпича, который на него падает)