Ну это проблема любой идеологии, либертарианство тут не выделяется. Это роднит его и с большевизмом, и с либерализмом, и с культурным марксизмом, и с чучхе, и т.д.
Вот потому надо смотреть не на цели, а на методы. По-моему тест на либертарианца как раз и заключается в том, чтобы найти человека, чьи взгляды и убеждения прямо противоположны твоим, но который не собирается пользоваться насильственными методами, и понять, что у вас с ним больше общего, чем различий.