К
Size: a a a
2020 June 21
Pu
А скажите пожалуйста, по какой причине scrapy может игнорировать user agent который указан в settings.py ?
К
А скажите пожалуйста, по какой причине scrapy может игнорировать user agent который указан в settings.py ?
где-то в другом месте указывается другой, c более большим precedence
Pu
где-то в другом месте указывается другой, c более большим precedence
то есть, это по дефолту так работает?
Я просто только создал проект, указал урл и прописал UA
Я просто только создал проект, указал урл и прописал UA
AR
или криво прописал
Pu
именно settings и указываю
AR
и как определил какой передаётся
К
именно settings и указываю
дальше разговор без доказательств не имеет смысла, что ты что-то указываешь, и что он не меняется
Pu
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'
Pu
вот так указываю в settings.py
Pu
.H.DNF..GET / HTTP/1.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en
User-Agent: Scrapy/2.1.0 (+https://scrapy.org)
Accept-Encoding: gzip, deflate
Host: valuepal.com
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en
User-Agent: Scrapy/2.1.0 (+https://scrapy.org)
Accept-Encoding: gzip, deflate
Host: valuepal.com
Pu
это вижу в tcpdump
Pu
причем если запустить в cmd
Pu
scrapy runspider valuepal.py -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36"
Pu
то UA уже видно