Считать для каждой путь сложновато
Если дверей домов существенно меньше чем точек, можно наоборот искать все пути в них приводящие и шарить между точками.
Это первая теория как упростить поиск, другая — придумать струкутуру графа такую чтобы было как можно меньше узлов. Можно обойтись только узлами на перекрёстках дорог