Size: a a a

2020 June 09

D

Dr. Bot in Scrapy
Evgeniy Abramov
Парни может кто подсказать в scrapy авторизацию как правильно делать если я пускаю запросы через splash?
источник

AR

Andrey Rahmatullin in Scrapy
Georg
Сейчас с aiohttp-proxy ставлю прокси как https, отправляю запросы на http страницу, все отлично. Как только страница http - ошибка. Так же все работает с http-http.
прокси правда что ли не умеет CONNECT? что за прокси такой
источник

G

Georg in Scrapy
Andrey Rahmatullin
прокси правда что ли не умеет CONNECT? что за прокси такой
Что ты имеешь в виду?
источник

AR

Andrey Rahmatullin in Scrapy
Переслано от Andrey Rahmatullin
читай как хттпс проксируется
источник

G

Georg in Scrapy
В общем решил проблему) Помогла смена политики цикла на WindowsSelectorEventLoopPolicy
источник

G

Georg in Scrapy
Походу проблема уже с сокетами
источник

AR

Andrey Rahmatullin in Scrapy
эм, а при чём тут хттпс
источник

AR

Andrey Rahmatullin in Scrapy
ну ок
источник

G

Georg in Scrapy
Andrey Rahmatullin
эм, а при чём тут хттпс
Прокси просто указываю как http и он грузит страницу https. Вроде пока ок все.
источник

A

Alex in Scrapy
Кирилл
Но возможно ты что-то с селекторами напутал, что у тебя пустые значения?
да точно)
там рекламные банеры есть в некоторых местах вот и пишет null
изменил селектор и все гуд)
спасибо!
источник

D

Dr. Bot in Scrapy
Georg
Прокси просто указываю как http и он грузит страницу https. Вроде пока ок все.
так ты с прокси соединение устанавливаешь по http, а куда оно потом идёт это уже не важно
источник

G

Georg in Scrapy
Dr. Bot
так ты с прокси соединение устанавливаешь по http, а куда оно потом идёт это уже не важно
В 100% случаях? Блин, понятно. Спасибо. Короче нужно подкачать немного теорию.
источник

D

Dr. Bot in Scrapy
Georg
В 100% случаях? Блин, понятно. Спасибо. Короче нужно подкачать немного теорию.
ну смотри. ты же если в брузере к примеру укажешь HTTP прокси, или SOCKS5, то ты же заходишь на https сайты? верно?
источник

D

Dr. Bot in Scrapy
HTTPS прокся говорит лишь о том, что между вами будет защищенное соединение
источник

D

Dr. Bot in Scrapy
если тебе нужно для промышленных масштабов. то покупай socks5. или настраивай сам. благо Dante поставить не сложно
источник

🎱

🎱 in Scrapy
подскажите, если мне нужно скачать несколько файлов с разных урл, мне нужно отдельные методы для этого создать?
например 4 файла, получается
yield Request
yield Request
yield Request
yield Request
коллбеком на все 4 метода?
источник

AR

Andrey Rahmatullin in Scrapy
яннп
источник

AR

Andrey Rahmatullin in Scrapy
если обработка одинаковая, то и коллбэк можно один, не?
источник

🎱

🎱 in Scrapy
Andrey Rahmatullin
если обработка одинаковая, то и коллбэк можно один, не?
как получить 4 разных респонса в одном методе ?) просто 4 разных колбека на тот же метод?
источник

AR

Andrey Rahmatullin in Scrapy
эм, да
источник