A
Вебка там
Size: a a a
2020 June 09
A
Andrii
show the code, or at least error
AR
how would it access the session? that's not how it works
A
how would it access the session? that's not how it works
Ok got it thank you
A
ок, у меня почему то 2 вариант получается
как сделать что бы был 1 вариант?
как сделать что бы был 1 вариант?
text = response.css('div > p > a::attr(title)').getall()
link = response.css('div.product-item__i > p > a::attr(href)').getall()
price = [price.strip() for price in response.css('div.price-box__content-i .price-value::text').getall()]
yield {
'Text': text,
'Link': link,
'Price': price
}
этот код внутри циклаAR
мне недавно не поверили что я почти ни разу не юзал zip()
s
Подскажите пожалуйста, при парсинге при исключении бывает нужно спарсить еще одну страницу, чтобы парсинг продолжился.
Не могу понять как это сделать.
def parse_usually(self, response):
if item['bla'] is None:
get data from another url - как запросить данные с этой страницы и сразу их получить?
может стандртной либой реквестов дернуть?
или в скрапи есть особый подход?
Не могу понять как это сделать.
def parse_usually(self, response):
if item['bla'] is None:
get data from another url - как запросить данные с этой страницы и сразу их получить?
может стандртной либой реквестов дернуть?
или в скрапи есть особый подход?
К
мне недавно не поверили что я почти ни разу не юзал zip()
Ну он обычно не нужен если правильная логика
AR
Подскажите пожалуйста, при парсинге при исключении бывает нужно спарсить еще одну страницу, чтобы парсинг продолжился.
Не могу понять как это сделать.
def parse_usually(self, response):
if item['bla'] is None:
get data from another url - как запросить данные с этой страницы и сразу их получить?
может стандртной либой реквестов дернуть?
или в скрапи есть особый подход?
Не могу понять как это сделать.
def parse_usually(self, response):
if item['bla'] is None:
get data from another url - как запросить данные с этой страницы и сразу их получить?
может стандртной либой реквестов дернуть?
или в скрапи есть особый подход?
inline_requests
AR
или разбивать логику на два колбэка
s
или разбивать логику на два колбэка
Спасибо за ответ!
Этого не хочется делать потому что dry небудет)
Про inline requetst читал на соф
Думал может ещё есть способ)
Этого не хочется делать потому что dry небудет)
Про inline requetst читал на соф
Думал может ещё есть способ)
AR
ну можно конечно отправить хттп запрос мимо скрапи, но это будет синхронно
AR
(и без фич, предоставляемых скрапи, что, возможно, даже хуже)
s
ну можно конечно отправить хттп запрос мимо скрапи, но это будет синхронно
Вот больше склоняюсь к этому варианту. На 1000 запросов одно исключение бывает.
G
День добрый
Подскажите, как использовать https прокси в aiohttp?
У меня какие-то странные проблемы нито с сертификатами, ни то с чем(
Подскажите, как использовать https прокси в aiohttp?
У меня какие-то странные проблемы нито с сертификатами, ни то с чем(