немного странно предлагать НЕфизический вариант решения, когда у нас есть столкновения с препятствиями, или я чего-то не понимаю
ааа, ну тогда не используй гравитацию, или погугли про кинематический рб с коллизией. Есть решение для кинематических рб, дабы они получали коллизию