Телеграмм чат группы scrapy

Кстати, а какого то решения нет ещё насчёт того, что делать с несколькими потоками скрапи, когда в один из них прилетает капча? Пока она решается - все потоки собирают так же себе по капче. И в итоге вместо одной, решать приходится десяток

по-идее если решена капча, она должна смержиться а остальные отвалятся по ретраям. Возможно, там написан механизм так, что оно сразу бежит решать капчу.

источник

23:28пожаловаться #9

i

ildar in Scrapy

а надо по-идее в одном решить, а другие при этом чтобы ждали на паузе, и потом проверять уже - показывается ли им капча, что-ли

источник

23:29пожаловаться #10

К

Кирилл in Scrapy

ildar

а надо по-идее в одном решить, а другие при этом чтобы ждали на паузе, и потом проверять уже - показывается ли им капча, что-ли

Да, я так и делал, если вылетает капча, все реквесты заворачиваются назад, пока не будет решения

источник

23:30пожаловаться #11

i

ildar in Scrapy

я в одном случае просто менял проксю через какой-то из двух прокси-ротаторов, и вроде еще user-agent - срабатывало)

источник

23:32пожаловаться #12

К

Кирилл in Scrapy

Конечно лучше сделать реализацию с паузой реактора, или как он там. Потому что я просто реквесты заново в очередь ставлю, получается круг

источник

23:34пожаловаться #13

AR

Andrey Rahmatullin in Scrapy

ildar

или в пуле выбирается какая-то задача и делается но при этом все кукисы между всеми сессиями одни и те же?

по дефолту кукиджар общий на паука, живёт в объекте мидлвари

источник

23:37пожаловаться #14

2020 March 05

М

Мак in Scrapy

Кирилл

Да, я так и делал, если вылетает капча, все реквесты заворачиваются назад, пока не будет решения

а как ты это делал? downloader middleware писал свой?

источник

07:59пожаловаться #15

🎩

🎩 Vlad in Scrapy

подскажите что нужно исправить - запуская scrapy с selenium у меня 2 раза открылся браузер(вместо одного), селениум прокликал кнопки и закрыл браузер а потом сработал scrapy и собрал только ту часть информации, которая была не закрыта кнопками

https://pastebin.com/8sK4QKtr

Pastebin

[Python] # -*- coding: utf-8 -*- import time import scrapy from selenium import webdri - Pastebin.com

источник

18:43пожаловаться #16

К

Кирилл in Scrapy

Лол, а что так можно было?

источник

18:44пожаловаться #17

К

Кирилл in Scrapy

Еще не видел цикла в теле класса

источник

18:44пожаловаться #18

AR

Andrey Rahmatullin in Scrapy

😳😳😳

источник

18:46пожаловаться #19

К

Кирилл in Scrapy

🎩 Vlad

подскажите что нужно исправить - запуская scrapy с selenium у меня 2 раза открылся браузер(вместо одного), селениум прокликал кнопки и закрыл браузер а потом сработал scrapy и собрал только ту часть информации, которая была не закрыта кнопками

https://pastebin.com/8sK4QKtr

Pastebin

[Python] # -*- coding: utf-8 -*- import time import scrapy from selenium import webdri - Pastebin.com

https://github.com/clemfromspace/scrapy-selenium

GitHub

clemfromspace/scrapy-selenium

Scrapy middleware to handle javascript pages using selenium - clemfromspace/scrapy-selenium

источник

18:46пожаловаться #20