Телеграмм чат группы scrapy

(если что, в пастебине код, который прокси получает, а код, который прокси использует, мы не видели)

12:02пожаловаться #1

Alex in Scrapy

Ребят а кто то парсил авито?
Или гиблое дело и не стоит тратить время и силы)

13:55пожаловаться #2

Alex

Ребят а кто то парсил авито?
Или гиблое дело и не стоит тратить время и силы)

парсили, парсят и будут парсить. scrapy + selenium + разумные лимиты. работает как часы

13:57пожаловаться #3

Alex in Scrapy

Dr. Bot

парсили, парсят и будут парсить. scrapy + selenium + разумные лимиты. работает как часы

Понял, спасибо))

13:58пожаловаться #4

Саша in Scrapy

Всем привет. Подскажите, пожалуйста, из-за чего паук, запущенный на Heroku, не запускается - Ignoring response 403. Хотя локально все работает.

Возможно IP хероку в блоке, если ты без прокси запрашиваешь

21:30пожаловаться #6

Саша in Scrapy

Без прокси. А подключить смену прокси можно только для проекта? Или, если у меня просто .py файл, тоже можно?

21:37пожаловаться #7

Там где запрос делаешь, там можно добавить прокси. Или в настройках

21:38пожаловаться #8

Саша in Scrapy

Т.е. в yield scrapy.Request передать, верно?

21:39пожаловаться #9

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware

21:40пожаловаться #10

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware

Andrey Rahmatullin

у него видимо просто 1 файл, genspider юзал, а не startproject

21:47пожаловаться #11

ичо

21:47пожаловаться #12

там написано как "в yield scrapy.Request передать"

21:47пожаловаться #13

а ну да. сорян

21:48пожаловаться #14

Та не, как бы паук отдельно работал

21:48пожаловаться #15

scrapy runspider, натурально

21:48пожаловаться #16

И можно без проекта?

21:49пожаловаться #17

да

21:49пожаловаться #18

Кирилл

И можно без проекта?

ну да. прикинь

21:49пожаловаться #19

Не пользовался таким никогда