AB
как можно попроще в пауке редиректы задетекитить хочу пагинацию в лоб делать, аля в цикле инкрементировать f'?page={i}' и если редирект, то break. Знаю про meta = {'dont_redirect': True,}, как бы это прикрутить?
Size: a a a
2020 March 17
AB
а, можно чекать чекать response.status == 302
МС
А можете еще подсказать, чем отличается использование scrapy от библеотеки requests, в scrapy насколько я понял больше всяких готовых фич?
реквест - голая либа для HTTP запросов
скрапи:
1. запросы
2. очередь запросов
3. повторы при ошибочных запросах
4. сохранение результатов в файл (в т.ч. очередь при сохранении)
5. организация парсинга
6. несколько типов файла результата "из коробки"
7. кеширование страниц "из коробки"
8. фильтр дубликатов старниц "из коробки"
все, я задолбался писать :)
скрапи:
1. запросы
2. очередь запросов
3. повторы при ошибочных запросах
4. сохранение результатов в файл (в т.ч. очередь при сохранении)
5. организация парсинга
6. несколько типов файла результата "из коробки"
7. кеширование страниц "из коробки"
8. фильтр дубликатов старниц "из коробки"
все, я задолбался писать :)
МС
а, можно чекать чекать response.status == 302
тока добавь 302 в список обрабатываемых кодов
AB
А можете еще подсказать, чем отличается использование scrapy от библеотеки requests, в scrapy насколько я понял больше всяких готовых фич?
requests - пистолет, scrapy - зенитная установка
AB
тока добавь 302 в список обрабатываемых кодов
понял
AR
как можно попроще в пауке редиректы задетекитить хочу пагинацию в лоб делать, аля в цикле инкрементировать f'?page={i}' и если редирект, то break. Знаю про meta = {'dont_redirect': True,}, как бы это прикрутить?
А как ты в цикле узнаешь что редирект? inline_requests?
AB
рекурсивно думаю как нить)
AB
ща
AB
надо это обкурить)
AR
Ну да, второй вариант рекурсия
AB
как то так наверное
AR
Угу
2020 March 18
A
Порекомендуйте, который лучше использовать headless браузер?
A
а что щас юзаете?
A
селениум хедлес?