Size: a a a

2020 June 09

AR

Andrey Rahmatullin in Scrapy
потому что моск взорвётся от хттпс-сокс-проксей
источник

G

Georg in Scrapy
Andrey Rahmatullin
потому что моск взорвётся от хттпс-сокс-проксей
Прочитай еще раз мое сообщение)
источник

AR

Andrey Rahmatullin in Scrapy
но если задача проксировать хттпс, то как и написано по ссылке для этого всю дорогу используют хттп-прокси с CONNECT
источник

АМ

Алексей Мелолян... in Scrapy
Кирилл
У тебя много чего) вместо принтов используй self.logger.info(). Не открывай файлы в циклах, достаточно одного раза и сохранить в переменную дескриптор, только закрыть не забудь. Слайсить в цикле список тоже не нужно, достаточно итерации
спасибо, я у мамы фрилансер, в простых парсерах все ок, а тут проект посложнее (сейчас надо спарсить 160к страниц), и при попытке сделать его устойчивым к ошибкам результат строго противоположный
источник

G

Georg in Scrapy
Andrey Rahmatullin
но если задача проксировать хттпс, то как и написано по ссылке для этого всю дорогу используют хттп-прокси с CONNECT
Не знаете эту штуку? https://pypi.org/project/aiohttp-proxy/
источник

AR

Andrey Rahmatullin in Scrapy
нет, а что это и зачем? хттп-прокси умеет и сам аиохттп судя по ссылке выше
источник

AR

Andrey Rahmatullin in Scrapy
эта видимо чисто для сокса
источник

AR

Andrey Rahmatullin in Scrapy
"But in order to more flexible support for multiple proxy methods (not just SOCKS proxy), we decided to fork [aiohttp-socks] (https://github.com/romis2012/aiohttp-socks), which is currently based on it." а, ну понятно
источник

G

Georg in Scrapy
Andrey Rahmatullin
"But in order to more flexible support for multiple proxy methods (not just SOCKS proxy), we decided to fork [aiohttp-socks] (https://github.com/romis2012/aiohttp-socks), which is currently based on it." а, ну понятно
Подожди, это же другая либо)
источник

G

Georg in Scrapy
Я про этуж aiohttp-proxy
источник

AR

Andrey Rahmatullin in Scrapy
я цитирую их ридми, да
источник

G

Georg in Scrapy
Айохттп-сокс?
источник

AR

Andrey Rahmatullin in Scrapy
Georg
Не знаете эту штуку? https://pypi.org/project/aiohttp-proxy/
я цитирую вот эту страницу
источник

G

Georg in Scrapy
Andrey Rahmatullin
я цитирую вот эту страницу
А блин, сорян
источник

G

Georg in Scrapy
Andrey Rahmatullin
я цитирую вот эту страницу
Вот даже с ней не получается подключаться к страницам по https(
источник

AR

Andrey Rahmatullin in Scrapy
такой прокси видать
источник

G

Georg in Scrapy
Без https есть результат, с https - ноль
источник

AR

Andrey Rahmatullin in Scrapy
ну он поди CONNECT не умеет или что-то ломает по дороге
источник

G

Georg in Scrapy
Andrey Rahmatullin
ну он поди CONNECT не умеет или что-то ломает по дороге
Не понял
источник

AR

Andrey Rahmatullin in Scrapy
читай как хттпс проксируется
источник