MD
и заставил бы бота прикидываться мобильной аппой.
желательно с имитацией поведения юзера, то есть одна две страницы за 5 минут, сессия на минут 15-20.
завести несколько десятков ботов на каждый раздел сливающих данные в одну базу.
но это может вылезти в немалые накладные расходы.
но я не на вашем месте, и не знаю как детектятся боты на стороне сервера. вам видней.
может и ваш простой бот с парой прокси сможет выжить