t
Size: a a a
2020 July 06
OS
У меня написан мидлвар который чекает в response капча или нет и отдельной функцией написано разгадывание
OS
Как гадать - описано в доках любого антикапча сервиса
t
У меня написан мидлвар который чекает в response капча или нет и отдельной функцией написано разгадывание
а можешь пример кинуть? Я просто хз как это на scrapy. Пока оно разгадывает, в этот момент ходит на другие страницы и там фигачит? Мне просто интересно, неуж то и с капчей может одновременно с большом количестве потоков)
OS
а можешь пример кинуть? Я просто хз как это на scrapy. Пока оно разгадывает, в этот момент ходит на другие страницы и там фигачит? Мне просто интересно, неуж то и с капчей может одновременно с большом количестве потоков)
Вот суть в том, что у меня поток ждёт, и я не использую мультипарсинг на скрапи
OS
A
Всем привет.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
class MyParser(scrapy.Spider):
name = "myparser"
start_urls = ['https://site.net/', 'https://site1.net/', 'https://site2.net/']
def __init__(self):
self.profile = webdriver.FirefoxProfile()
self.profile.set_preference("intl.accept_languages", "ua_RU")
self.profile.set_preference("dom.disable_open_during_load", False)
#self.profile.set_preference("general.useragent.override", "[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36]")
self.fireFoxOptions = webdriver.FirefoxOptions()
# self.fireFoxOptions.set_headless()
self.driver = webdriver.Firefox(firefox_profile=self.profile, seleniumwire_options=self.options)
def parse(self, response):
passOS
Всем привет.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
class MyParser(scrapy.Spider):
name = "myparser"
start_urls = ['https://site.net/', 'https://site1.net/', 'https://site2.net/']
def __init__(self):
self.profile = webdriver.FirefoxProfile()
self.profile.set_preference("intl.accept_languages", "ua_RU")
self.profile.set_preference("dom.disable_open_during_load", False)
#self.profile.set_preference("general.useragent.override", "[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36]")
self.fireFoxOptions = webdriver.FirefoxOptions()
# self.fireFoxOptions.set_headless()
self.driver = webdriver.Firefox(firefox_profile=self.profile, seleniumwire_options=self.options)
def parse(self, response):
passstart_urls = ['https://site.net/', 'https://site1.net/', 'https://site2.net/']
они должны параллельно и так запуститься если настройки не поменял
они должны параллельно и так запуститься если настройки не поменял
AR
драйвер-то один
A
CONCURRENT_REQUESTS = 5
# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
CONCURRENT_REQUESTS_PER_DOMAIN = 3
CONCURRENT_REQUESTS_PER_IP = 1A
драйвер-то один
а на одном драйвере, как вкладки - есть такой вариант?
или сразу несколько драйверов запускать
или сразу несколько драйверов запускать
AR
ничего не знаю про селениум
AR
CONCURRENT_REQUESTS = 5 - это количество запросов?
да, но ты ж не будешь юзать запросы скрапи