То есть как на картинке точки прошли не сквозь прямоугольничка в центре а вокруг него
я бы для такого построил карту "направлений кратчайшего пути", по сути, "куда идти с этой точки пространства, чтобы быстрее всего добраться до цели".
Дальше так как тебе нужны коллизии, как одна из идей можно сделать мини физический симулятор (который умеет расталкивать две вершины если они слишком близко) и каждый тик передвигать их на вектор из построенной ранее карты