AR
проще всего захардкодить
Size: a a a
2020 July 23
i
вместо
for i in range(len(urls)):
yield scrapy.Request(
url=response.urljoin(urls[i])
, callback=self.parse_productpage
)
можно написать
yield scrapy.follow_all(urls, , callback=self.parse_productpage)
?
for i in range(len(urls)):
yield scrapy.Request(
url=response.urljoin(urls[i])
, callback=self.parse_productpage
)
можно написать
yield scrapy.follow_all(urls, , callback=self.parse_productpage)
?
а еще, может быть, что ты учился/учишься по какому-то древнему тутору, особенно если там встречается extract_first и extract, лучше на оффсайте почитать туториал, они начинают с простого, а в конце доходят и до follow/follow_all, показывая что так проще и тупо меньше писать кода
https://docs.scrapy.org/en/latest/intro/tutorial.html
https://docs.scrapy.org/en/latest/intro/tutorial.html
SS
а еще, может быть, что ты учился/учишься по какому-то древнему тутору, особенно если там встречается extract_first и extract, лучше на оффсайте почитать туториал, они начинают с простого, а в конце доходят и до follow/follow_all, показывая что так проще и тупо меньше писать кода
https://docs.scrapy.org/en/latest/intro/tutorial.html
https://docs.scrapy.org/en/latest/intro/tutorial.html
Да, полностью я прочитал только старую документацию
A
Я вот вчера увидил что в реквестс добавили поддержку пупитера с коробки
A
ты про пайтоновский requests? интересно как его добавили если единственный порт пюпитера на асинке
конешно нет, для скрапинга http://requests-html.kennethreitz.org/
A
не все же проектЬІ делать на скрапи и бс4 (вообще не понимаю зачем БС4)
К
Andrii
конешно нет, для скрапинга http://requests-html.kennethreitz.org/
приколько, тоже не видел, редко захожу на этот проект
IR
Ребят всем привет. Не могли бы подсказать хорошую книгу видеоролики про scrapy? Желательно на анг но можно и на русском
ИБ
тут совсем недавно пробегала ссылка на обновленный курс по scrapy. 2-3 дня назад
IR
А на каком языке?
IR
Не могли бы скинуть ссылку)?
Х