AR
что самое смешное, в этом коде даже копировать ничего не надо, только создание итема в цикл перенести
Size: a a a
2020 April 09
A
что самое смешное, в этом коде даже копировать ничего не надо, только создание итема в цикл перенести
вот за ето спасибо)
AB
привет) scrapy_selenium умеет в selenoid?
AB
все, увидел последний pr
AB
привет) scrapy_selenium умеет в selenoid?
у кого нибудь был успешный опыт? запускаю селениум в шеле питона - все ок, в пауке вообще ничего не происходит((
AB
AC
а в мидлвер что прописано?
AC
в def process_request?
AC
я прописал так не знаю тоже кстати насколько верно, но работает
def __init__(self):
self.driver = self.get_driver_noid() # your chosen driver
def process_request(self, request, spider):
self.driver.get(request.url)
body = self.driver.page_source
response = HtmlResponse(url=self.driver.current_url, body=body, encoding='utf-8')
return response
AC
возникла другая проблема с селеноидом - когда много запросов к нему, то он похоже тупо отваливается
AC
ну не знаю сколько отправляю ему запросы через scrapy асинхронно
AC
может быть 100
AC
может 200
AC
надо как-то посчитать
AC
а как не знаю
AC
это как?