Size: a a a

2020 June 22

Pu

Process user in Scrapy
print()/logger.info()
источник

Pu

Process user in Scrapy
tcpdump + дебаг в самом пайчарме
источник

i

ildar in Scrapy
ууууу.
1. ты можешь включить кэш дисковый, тогда на сайт будет идти только один запрос и при повторном запуске будут данные браться из кэша (правда, при дебаге его иногда приходится удалять или ставить dontfilter в true)
2. в пичарме почитай про брекпоинты, включая evaluate expression... на нем.
источник

A

Andrii in Scrapy
Process user
ну я паршу сначала sitemap.xml и там этих ссылок много, а хочется дебажить не напрягаясь )
Кеш
источник

i

ildar in Scrapy
чего кеш?
источник

A

Andrii in Scrapy
Если сайт статика
источник

i

ildar in Scrapy
а, ты про то же
источник

i

ildar in Scrapy
ну там бывают коленкоры да, типа ты допилил логин, а что-то не логинится, а потом вспоминаешь что оно ж данные с кэша берет, а там ты не залогинен. или наоборот, оно в кэше на первых страницах залогинено, а дальше уже цены к примеру неправильные показывает, т.к. кукисы устарели. но это редкие случаи.
источник

Pu

Process user in Scrapy
Резонный момент, спасибо, почитаю
источник

i

ildar in Scrapy
так что обычно проще ставить брекпоинт в пичарме, он просто дойдет, где ты его поставил, встанет там и будет стоять, плюс у тебя все данные и переменные на этот момент есть и можно спокойно смотреть какие поля с респонса взять.
источник

A

Andrii in Scrapy
если есть цена или что-то динамичное (наличие товара, то лучше без кэша)
источник

A

Andrii in Scrapy
но когда искать хпатч или добавлять поле за полем, то кэш однозначно
источник

Pu

Process user in Scrapy
а вот такой вопрос
источник

Pu

Process user in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
нужен кто?
источник

Pu

Process user in Scrapy
splash
источник

AR

Andrey Rahmatullin in Scrapy
когда это проще чем воспроизводить запросы руками
источник

i

ildar in Scrapy
ээ, ну там же написано, разворачивая - когда тебе нужен результат выполнения js-кода, и при этом тебе влом отлавливать правильные заголовки-запросы на какие-то условные  ajax'овые ендпоинты.
источник

AR

Andrey Rahmatullin in Scrapy
или когда антибот
источник

Pu

Process user in Scrapy
Я понял иначе.
источник