Size: a a a

2020 May 22

AR

Andrey Rahmatullin in Scrapy
чо
источник

A

Alex in Scrapy
))
источник

A

Alex in Scrapy
наверно фигню сморозил
источник

OS

Oleg Shleiko in Scrapy
Alex
подскажите есть ли генератор для сss как xpath?
не про это ли вы часом?
response.css('li.next a').get()
источник

A

Alex in Scrapy
Oleg Shleiko
не про это ли вы часом?
response.css('li.next a').get()
про это)
источник

OS

Oleg Shleiko in Scrapy
источник

A

Alex in Scrapy
спасибо)
источник

К

Кирилл in Scrapy
Методы пайплайна open_spider и close_spider срабатывают немного раньше, чем сигналы spider_opened/spider_closed, в close_spider пайплайна передаётся только паук, в сигнал же передаётся ещё и reason
источник

OS

Oleg Shleiko in Scrapy
Кирилл
Методы пайплайна open_spider и close_spider срабатывают немного раньше, чем сигналы spider_opened/spider_closed, в close_spider пайплайна передаётся только паук, в сигнал же передаётся ещё и reason
спасибо
источник

AR

Andrey Rahmatullin in Scrapy
а, это spider_opened нет в контрактах, а open_spider есть, зато и там и там
источник

К

Кирилл in Scrapy
Вроде как в Downloader Middleware и Spider Middleware тоже должны быть методы open|close , так как их менеджер наследуется от MiddlewareManager, который собирает эти методы, но я что-то с ходу не нашел чтоб оно где-то вызывалось или же цеплялось к сигналу
источник

A

Alex in Scrapy
как можно решить такой вопрос
есть элемент из которого я вытаскиваю нужный текст
//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[1]
но таких контейнеров много и данные из следующего контейнера можно вытащить вот так
//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[2]
//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[3]
и так далее
есть варианты как менять номер контейнера?
можно нагородить шляпу) но я чувствую что это решается как то проще
источник

К

Кирилл in Scrapy
Убираешь этот номер и итерируешься
источник

A

Alex in Scrapy
не совсем то что хотел получить в итоге)
спасибо в любом случае
источник

A

Alex in Scrapy
так получается все в одном словаре
а хотелось бы что бы данные были в отдельном словаре
источник

К

Кирилл in Scrapy
Клади в цикле в разные словари
источник

D

Dmitry in Scrapy
Помогите советом, пожалуйста - нужен способ обновлять прокси при получении ошибки или редиректа. Как реализовать?
источник

AR

Andrey Rahmatullin in Scrapy
источник

D

Dmitry in Scrapy
мерси
источник

P

Petr in Scrapy
Dmitry
Помогите советом, пожалуйста - нужен способ обновлять прокси при получении ошибки или редиректа. Как реализовать?
У меня куча  из прокси heapq  при запрос дергаем прокси из кучи если ОК -1, если BAD +1  и таким образом остаются живые и самые хорошие прокси
источник