Я короче всё исправил, что я сделал. Я этот куб, сделал дочерним объектом к пустому объекту, с параметрами scale 1,1,1 и в скрипте куба, двигал вниз не сам куб, а его родительский объект, тем самым, игрока можно делать дочерним не к Кубу, а к родительскому объекту куба, и всё будет норм.