даже незнаю что и ответить, Арман ты прям как сканер работаешь) все как ты и сказал, сайт очень крутой, в этой тематике аналогов нету.
насчет юридический вопросов , думаю они не будут заморачиваться над такими микробами как мы))) да и особо ничего запрещенного мы не совершаем)
чтобы безпалевно парсить, я бы разобрал протокол их мобильного приложения,
и заставил бы бота прикидываться мобильной аппой.
желательно с имитацией поведения юзера, то есть одна две страницы за 5 минут, сессия на минут 15-20.
завести несколько десятков ботов на каждый раздел сливающих данные в одну базу.
но это может вылезти в немалые накладные расходы.
но я не на вашем месте, и не знаю как детектятся боты на стороне сервера. вам видней.
может и ваш простой бот с парой прокси сможет выжить