а как вот делают этих пауков, которые стучат на сервера? на сайты там и тд? это ж получается не руками задают адрес сайта, а паук сам находит сайт и парсит его
а как вот делают этих пауков, которые стучат на сервера? на сайты там и тд? это ж получается не руками задают адрес сайта, а паук сам находит сайт и парсит его