СТ
Кто реверсил приложения с андроид, подскажите чем перехватывать запросы?
Fiddler
Size: a a a
2021 January 27
МС
Чарлик
МС
пофиг чем, вопрос в подсовывании сертификата :)
СТ
пофиг чем, вопрос в подсовывании сертификата :)
впрочем да
DD
Всем привет. Такой вопрос: если я не знаю точное колво страниц, но знаю какой ответ(он будет пустым) приходит, если я делаю запрос на несуществующую страницу. Как можно это сделать по хорошему, чтобы паук перестал парсить, если приходит пустой ответ? Да так, чтобы предыдущие страницы нормально допарсились. Спасибо
AR
просто не делать запрос на следующую страницу
МС
Всем привет. Такой вопрос: если я не знаю точное колво страниц, но знаю какой ответ(он будет пустым) приходит, если я делаю запрос на несуществующую страницу. Как можно это сделать по хорошему, чтобы паук перестал парсить, если приходит пустой ответ? Да так, чтобы предыдущие страницы нормально допарсились. Спасибо
DD
ну, смотрите: страница подтягивает данные динамически. Тоесть листаю вниз, и подтягивает XHR. Я этот файлик получаю пост запросом, только меняю дату(номер страницы) для запроса. Т.е.:
for i in range(150):
yield FormRequest(url, formdata)
Но суть в том, что там не 150 страничек таких, а каждый день разное может быть
for i in range(150):
yield FormRequest(url, formdata)
Но суть в том, что там не 150 страничек таких, а каждый день разное может быть
DD
ага, спасибо
МС
просто не делать запрос на следующую страницу
встречал, когда последняя страница определялась именно что она пустая, и последняя зацикленная может быть, когда номер меняется, а данные нет :)
AR
ну, смотрите: страница подтягивает данные динамически. Тоесть листаю вниз, и подтягивает XHR. Я этот файлик получаю пост запросом, только меняю дату(номер страницы) для запроса. Т.е.:
for i in range(150):
yield FormRequest(url, formdata)
Но суть в том, что там не 150 страничек таких, а каждый день разное может быть
for i in range(150):
yield FormRequest(url, formdata)
Но суть в том, что там не 150 страничек таких, а каждый день разное может быть
замени итерацию рекурсией
AR
последняя страница распарсится первой и данных не будет вовсе
DD
замени итерацию рекурсией
типо:
def parse_page(self.response):
проверка ответа
yield request(url, formdata = {'page': page + 1}, callback=self.parse_page)
?
def parse_page(self.response):
проверка ответа
yield request(url, formdata = {'page': page + 1}, callback=self.parse_page)
?
AR
да, конечно
DD
попробую, спасибо
2021 January 28
A
Помогите осознать в чем проблема, не могу отправить пост запрос:
https://pastebin.com/Z7gp7vS0
сам вебсайт: https://www.antler.co/our-startups (клик на load more)
https://pastebin.com/Z7gp7vS0
сам вебсайт: https://www.antler.co/our-startups (клик на load more)
A
с реквеста работает 😐
МС
x = '{"query":"","hitsPerPage":15,"page":1,"facetFilters":[]}' - а это разве "application/x-www-form-urlencoded" ?
куда на сайте тыркать, что бы запрос увидеть?
куда на сайте тыркать, что бы запрос увидеть?
L
Переслано от Laziz
Как боту получить данные о стране и городе при помощи этой геолокации?