Телеграмм чат группы scrapy

20:01пожаловаться #2

ФФ

Фаза Фазов in Scrapy

давай), я думал оно на гитхабе подобное есть

ты может еще думал что я сам это написал?)))
ща поищу в закладках... с гита и есть

20:01пожаловаться #3

Фаза Фазов

ты может еще думал что я сам это написал?)))
ща поищу в закладках... с гита и есть

подумал что сам)))

20:02пожаловаться #4

https://github.com/TeamHG-Memex/scrapy-rotating-proxies

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

20:02пожаловаться #5

Ну, куда-то перед запросами

я вообще примеров не нашел, гуглил и на стековерфлоу искал

20:02пожаловаться #6

https://github.com/TeamHG-Memex/scrapy-rotating-proxies

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

оно там само будет внутри определать http или https или socks4 или socks5 прокси?)

20:03пожаловаться #7

ФФ

Фаза Фазов in Scrapy

https://github.com/TeamHG-Memex/scrapy-rotating-proxies

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

ну вот она и есть)

я вообще примеров не нашел, гуглил и на стековерфлоу искал

Что там искать, переопредели инит этого миделвера

20:04пожаловаться #9

Что там искать, переопредели инит этого миделвера

я чет пробовал смотреть исходник этого мидлвара, если конечно это оно, там такой мудреный код, что я не врубился просто

20:06пожаловаться #10

ФФ

Фаза Фазов in Scrapy

придется врубиться)

20:06пожаловаться #11

https://github.com/TeamHG-Memex/scrapy-rotating-proxies

use multiple proxies with Scrapy. Contribute to TeamHG-Memex/scrapy-rotating-proxies development by creating an account on GitHub.

оно и с scrapy-selenium заработает?

20:06пожаловаться #12

Andrey Rahmatullin in Scrapy

оно там само будет внутри определать http или https или socks4 или socks5 прокси?)

скрапи не умеет сокс, а хттпс-прокси не существует

20:06пожаловаться #13

оно и с scrapy-selenium заработает?

Нет)

20:08пожаловаться #14

Andrey Rahmatullin

скрапи не умеет сокс, а хттпс-прокси не существует

хренова, но чет я где то виделл списки имено https прокси

20:08пожаловаться #15

Нет)

и тоолк тогда от нее?)

20:09пожаловаться #16

Andrey Rahmatullin in Scrapy

списки и я видел, знать бы что они имеют в виду

20:09пожаловаться #17

и тоолк тогда от нее?)

Хз, я просто скинул что тебе советовали)

20:09пожаловаться #18

Тебе придется самому прикручивать туда прокси

20:12пожаловаться #19

вообще от скрапи + headless браузера не будет тоолку если они не умеют антидетект ботов. Сейчас многие сайты просто палят такое