К
Selector(text=data['html'])Size: a a a
2020 December 09
A
spasibo
AR
жжоте
AR
callback=jQuery33107852307445550264_1607531304657&_=1607531304658
Вот этот - точно.
это просит эту обёртку положить в ответ
AR
jsonp
2020 December 10
A
Tripadvisor без проблем скрапится?
AR
Да
A
Как очистить кукис после колбека? Проблема такая - решаю капчу, делаю колбек и там проверяю правильно ли капчу написали. Если нет делаю колбек назад, но нужно очистить кукис. Делаю meta={'dont_merge_cookies': True}, но походу не роботает, потому что после етого ни разу правильное решение не пришло
AR
meta={'dont_merge_cookies': True} не очищает, оно делает игнор для этого реквеста
AR
очистить мне кажется нормально нельзя
G
Andrii
Как очистить кукис после колбека? Проблема такая - решаю капчу, делаю колбек и там проверяю правильно ли капчу написали. Если нет делаю колбек назад, но нужно очистить кукис. Делаю meta={'dont_merge_cookies': True}, но походу не роботает, потому что после етого ни разу правильное решение не пришло
Можно на ходу создать/использовать новый объект cookiejar используя
https://docs.scrapy.org/en/2.4/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
cookiejar meta keyhttps://docs.scrapy.org/en/2.4/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
AR
вариант
МС
Можно на ходу создать/использовать новый объект cookiejar используя
https://docs.scrapy.org/en/2.4/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
cookiejar meta keyhttps://docs.scrapy.org/en/2.4/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider
угу, только потом менеждить куки или сессии надо, точно не помню что именно.
AR
ну это его теперь везде таскать
G
угу, только потом менеждить куки или сессии надо, точно не помню что именно.
Тогда оставшийся вариант: с использованием
crawler.engine.downloader.middleware.middlewares... вытянуть обьект CookiesMiddleware и напрямую очистить cookiejar2020 December 11
B
Помогите пожалуйста! У меня очень странная ошибка. При запуске приведенного кода данные собираются, но начинают встречаться дубли. Не на каждый собранный элемент, а примерно 1 из 10 адресов. Если закомментировать настройки DUPEFILTER_CLASS, то данные собираются корректно, но в несколько раз меньше записей получается. https://github.com/p37rov-nvkz/mingkh/blob/master/mingkh/mingkh/spiders/spider.py
МС
```class BaseDupeFilter:
@classmethod
def from_settings(cls, settings):
return cls()
def request_seen(self, request):
return False
def open(self): # can return deferred
pass
def close(self, reason): # can return a deferred
pass
def log(self, request, spider): # log that a request has been filtered
pass````
а он разве должен что то фильтровать?🧐
@classmethod
def from_settings(cls, settings):
return cls()
def request_seen(self, request):
return False
def open(self): # can return deferred
pass
def close(self, reason): # can return a deferred
pass
def log(self, request, spider): # log that a request has been filtered
pass````
а он разве должен что то фильтровать?🧐
AR
в этом и прикол
AR
если фильтровать дупы, то дупы фильтруются, а если нет то нет