Спасибо за советы господа!
Странным образом мою проблему решило не использовать метод с детачем а добавить в апдейт эту строку:
transform.localScale = transform.localScale;
Если у кого есть ответ как это работает буду признателен😊
а так проблема решена
Надо структуру объектов изначально делать так, чтобы не приходилось использовать разные костыли.