К
Спасибо ещё раз, настроил эти ciphers и всё снова стало парсится
это с яндекс маркетом такие жестяки с ssl? я ещё ни разу не сталкивался с таким
Size: a a a
2020 July 01
OS
угу
AR
Спасибо ещё раз, настроил эти ciphers и всё снова стало парсится
что поставил?
OS
DOWNLOADER_CLIENT_TLS_CIPHERS = 'SHA1+RSA'
OS
это с яндекс маркетом такие жестяки с ssl? я ещё ни разу не сталкивался с таким
Это единственное место где и мы сталкнулись 🤣
OS
Все остальные сайты летят и без извращений
✏d
у меня код парсера написан извращенцем маньяком.
Было:
Было:
s = requests.Session()ХОЧУ ЗАМЕНИТЬ НА:
r1 = s.get('https://m.avito.ru', headers=ph, proxies=ppx, timeout=8)
r2 = s.get('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
r2 = scrapy.Request('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
верно ли я мыслю?К
у меня код парсера написан извращенцем маньяком.
Было:
Было:
s = requests.Session()ХОЧУ ЗАМЕНИТЬ НА:
r1 = s.get('https://m.avito.ru', headers=ph, proxies=ppx, timeout=8)
r2 = s.get('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
r2 = scrapy.Request('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
верно ли я мыслю?скорее всего это была попытка синхронного запроса, если это так, тогда для переделки тебе нужнен scrapy-inline-requests
✏d
а scrapy.Request чем плох? не уверен, что там надо жесткий синхрон
МС
у меня код парсера написан извращенцем маньяком.
Было:
Было:
s = requests.Session()ХОЧУ ЗАМЕНИТЬ НА:
r1 = s.get('https://m.avito.ru', headers=ph, proxies=ppx, timeout=8)
r2 = s.get('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
r2 = scrapy.Request('https://m.avito.ru/api/1/items/%s/phone?key=%s' % (itemID, AVITO_KEY))
верно ли я мыслю?1. 😳 эта срань в коде парсера?
2. он первым запросом куку ловил, не факт что без нее будет работать.
тут либо инлайн реквесты, либо "лесенку" из колбеков делать.
и кстати, я тут открыл для себя разделение куков в скрапи (типа делить куки на "потоки", не знаю как это назвать по умному), оказалась такая "нямка".... Прям спасла меня
2. он первым запросом куку ловил, не факт что без нее будет работать.
тут либо инлайн реквесты, либо "лесенку" из колбеков делать.
и кстати, я тут открыл для себя разделение куков в скрапи (типа делить куки на "потоки", не знаю как это назвать по умному), оказалась такая "нямка".... Прям спасла меня
AR
банки это называется
AR
МС
банки это называется
точно, это более правильное определение 😂
✏d
SS
а как здесь можно построить селектор, чтобы вытащить "арахис сырой"?
AR
а в чём проблема?
AR
а то
//text()[contains(.,"арахис")] формально отвечает на вопрос