D
Size: a a a
2020 July 08
SS
вопрос по scrapy-splash. Можно как-то отключить загрузку изображений через args в SplashRequest или как-то еще без перезапуска docker container?
SM
Ребят, немного туплю, т.к. новичок, подскажите, плиз
Написал простенького паука
https://pastebin.com/gv4sYJxp
Не очень понимаю, почему он при команде scrapy crawl ... не идёт по всем ссылкам, а делает лишь один переход. Доступность нужных мне элементов проверял в шелле: всё корректно.
Написал простенького паука
https://pastebin.com/gv4sYJxp
Не очень понимаю, почему он при команде scrapy crawl ... не идёт по всем ссылкам, а делает лишь один переход. Доступность нужных мне элементов проверял в шелле: всё корректно.
AR
по каким всем? в коде yield response.follow делается один раз
AR
и по смыслу так же
SM
ну вот а хотелось бы, чтобы он так и переходил по ссылкам, которые извлекает из response
AR
переделывай логику
AR
странно конечно что итем извлекается из "следующей страницы"
SM
переделывай логику
тогда поправьте, плиз, в месте, где я не правильно понимаю:
при yield response.follow происходит redirect на новую страницу, извлекается item, возвращается управление parse и снова переход в yield response.follow
при yield response.follow происходит redirect на новую страницу, извлекается item, возвращается управление parse и снова переход в yield response.follow
AR
нет, где ж там "возвращается управление parse"? parse на этом завершается
SM
ретурном из parse_item, нет?
AR
чо вдруг
К
вопрос по scrapy-splash. Можно как-то отключить загрузку изображений через args в SplashRequest или как-то еще без перезапуска docker container?
Можно в lua_source прописать
AR
и вообще parse_item выполняется отдельно от parse
SM
чо вдруг
хз)
Не очень тогда механизм понимаю
Не очень тогда механизм понимаю