Size: a a a

2020 June 05

AR

Andrey Rahmatullin in Scrapy
чо
источник

AC

Amber Claes in Scrapy
Amber Claes
Здравствуйте, раньше писал на скрепи (около года назад), недавно понадобился ещё раз, но я чота охренел.
Зашёл вспомнить quickstart, а там добавили какой-то кластер с 3мя мониторами и запуском с-под докера.
1) Так ли полезны эти мониторы
2) Обязательно ли использовать кластер
3) Если уже есть паук, написанный под старой версией, на новую его можно переписать без кластера?
А, всё, заметил что это quickstart для scrapy cluster'а
источник

AR

Andrey Rahmatullin in Scrapy
😹😹😹
источник

A

Alex in Scrapy
всем привет
подскажите возможно ли сюда впихнуть условие
response.css('a::attr(title)').getall()
или же после использовать такой колхоз:
a =  [i for i in response.css('a::attr(title)').getall() if 'Смартфон' in i]
источник

AR

Andrey Rahmatullin in Scrapy
переписать на xpath
источник

A

Alex in Scrapy
Andrey Rahmatullin
переписать на xpath
спасибо)
источник

DM

Dima Moiseenko in Scrapy
Alex
всем привет
подскажите возможно ли сюда впихнуть условие
response.css('a::attr(title)').getall()
или же после использовать такой колхоз:
a =  [i for i in response.css('a::attr(title)').getall() if 'Смартфон' in i]
можешь посмотреть еще на наличие ld+json, может в нем все нужное есть
источник

🎱

🎱 in Scrapy
насколько считается бест практис писать в одном методе несколько реквестов на отдельные методы? или лучше их писать синхронно в  методах ?
 yield Request(product_page, callback=self.save_response_body, meta={'item': item})

yield Request(image_url, callback=self.upload_image, meta={'item': item})

короче вопрос в том, нормально ли писать несколько реквестов в одном методе и йилдить их ?
источник

A

Alex in Scrapy
попробовал вот так
response.xpath('//a[contains(@title, "Смартфон")]//text()').getall()
получается чет не очень)
'\n                        Смартфон Xiaomi Redmi Note 8T 4/64GB Starscape Blue                    '
или норм и пробелы и переносы очистить можно потом?
источник

AR

Andrey Rahmatullin in Scrapy
🎱
насколько считается бест практис писать в одном методе несколько реквестов на отдельные методы? или лучше их писать синхронно в  методах ?
 yield Request(product_page, callback=self.save_response_body, meta={'item': item})

yield Request(image_url, callback=self.upload_image, meta={'item': item})

короче вопрос в том, нормально ли писать несколько реквестов в одном методе и йилдить их ?
да
источник

AR

Andrey Rahmatullin in Scrapy
Alex
попробовал вот так
response.xpath('//a[contains(@title, "Смартфон")]//text()').getall()
получается чет не очень)
'\n                        Смартфон Xiaomi Redmi Note 8T 4/64GB Starscape Blue                    '
или норм и пробелы и переносы очистить можно потом?
с цсс то же самое
источник

A

Alex in Scrapy
значит норм, понял спасибо)
источник
2020 June 06

AC

Amber Claes in Scrapy
Можете подсказать как передавать аргументы в паука? Я парсю фильмы и хотелось бы сделать что-то такое:
scrapy crawl film_parser horrors thriller
Но не понимаю как это передать в паука
источник

DM

Dima Moiseenko in Scrapy
Amber Claes
Можете подсказать как передавать аргументы в паука? Я парсю фильмы и хотелось бы сделать что-то такое:
scrapy crawl film_parser horrors thriller
Но не понимаю как это передать в паука
scrapy crawl 'your_spider' 
-a category='your_category'
-a location='your_location'
источник

AC

Amber Claes in Scrapy
Dima Moiseenko
scrapy crawl 'your_spider' 
-a category='your_category'
-a location='your_location'
А потом внутри класса делать self.category что бы получить их?
источник

DM

Dima Moiseenko in Scrapy
 def __init__(self, category, location, *args, **kwargs):

да, можешь еще в init бъявить
источник

AC

Amber Claes in Scrapy
Спасибо, понял
источник

S

SoHard 🎄 in Scrapy
Подскажите пожалуйста как мне передать категорию
источник

S

SoHard 🎄 in Scrapy
источник

B

Bulatbulat48 in Scrapy
SoHard 🎄
Подскажите пожалуйста как мне передать категорию
Положить в мета, а в след функции извлечь из мета.
источник