В старте драга запоминаешь расстояние от камеры до объекта, берешь координату мыши через ScreenToWorldPoint с этой дальностью в Z и запоминаешь оффсет (между объектом и этой координатой).
В самом драге получаешь из мыши также координату, плюсуешь оффсет и ставишь туда объект.