что именно глупость? взять первым этапом все точки с addr:housenumber внутри контура дома и трактовать адреса с них, как если бы они дописаны в addr2 и т. д. на контуре дома
Проблема с основным адресов на контуре и дополнительных у точек в том, что надо выбирать, что основное, а что нет. Порядок написания цифр на адресной табличке — дело вкуса, он не определяющий. В ситуации с addrN:* можно выбирать любой порядок. Хоть с адресных табличек, хоть алфавитной.