К
Size: a a a
2020 December 11
AR
ну да, дупы отфильтровались
B
Почему дубли возникают не для всех записей?
B
Меня вот это смущает очень
B
Если по результату json пробежаться и повыгрызать повторения - это же не правильно будет? Так не делает же никто?
AR
да кто вас знает что там происходит, смотреть надо, лог в первую очередь
AR
может там селекторы кривые, по ним видно что они могут
МС
с выключенным BaseFilter сколько результатов? по идее, должно быть 3170
B
Победил. Включил dont_filter=True, DUPEFILTER закоментирован. Проверил на дубли экспортом в бд. Сейчас 3129 уникальных записи
yield scrapy.Request(company_url, callback=self.parse_company, meta={'data':data}, dont_filter=True)
yield scrapy.Request(company_url, callback=self.parse_company, meta={'data':data}, dont_filter=True)
МС
если ты на самом деле со всех страниц собираешь
B
3170 это с дублями. Теперь BaseFilter выключен, а dont_filter=True\
B
Спасибо вам всем, ребята!
AR
куда-то закрался dont_filter=True
SS
therealreal.com
после 10 запроса паук получает каптчу, ротация проксей, куки не помогают.
Что надо сделать чтобы обойти защиту? Решать каптчу?
Код:
https://pastebin.com/gjZFGs0d
после 10 запроса паук получает каптчу, ротация проксей, куки не помогают.
Что надо сделать чтобы обойти защиту? Решать каптчу?
Код:
https://pastebin.com/gjZFGs0d
AR
а руками в браузере так же?
SS
если отключать JS - то похоже