Я не помню как навмеш работает под капотом, мб при назначении одного и того же пути идет перерасчет что логично.
Но я бы перед назначением пути делал бы проверку, чтобы не делать трафик в этом куске кода
if(lateDestination - curDestination).normalized > 1.5f)