родительский элемент просто пустой, который ты передвигаешь, а значит передвигаются и дочерние. А с дочерними проводи свои махинации. Например создал общий PlayerController.cs, брось его на общий родительский, а в скрипте просто создай переменную, которая будет твоим шаром, и крути его кодом