OS
странный ты. я сделал паука, выполняет все что мне нужно
хочу улучшить для работы с прокси
в чем упорство?
хочу улучшить для работы с прокси
в чем упорство?
А при чём тут прокси если вопрос по асинхронности
Size: a a a
2020 July 06
A
А при чём тут прокси если вопрос по асинхронности
это человек чет меня поддергивает, что я парсить авито буду 7 лет
не пойму что он хочет этим сказать
а так да, ты прав вопрос по асинхронности
не пойму что он хочет этим сказать
а так да, ты прав вопрос по асинхронности
S
Всем привет.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
Вопрос такой. Паук с такой структурой. Чет не могу понять как запускать в обработку паралельно все ссылки.
class MyParser(scrapy.Spider):
name = "myparser"
start_urls = ['https://site.net/', 'https://site1.net/', 'https://site2.net/']
def __init__(self):
self.profile = webdriver.FirefoxProfile()
self.profile.set_preference("intl.accept_languages", "ua_RU")
self.profile.set_preference("dom.disable_open_during_load", False)
#self.profile.set_preference("general.useragent.override", "[Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36]")
self.fireFoxOptions = webdriver.FirefoxOptions()
# self.fireFoxOptions.set_headless()
self.driver = webdriver.Firefox(firefox_profile=self.profile, seleniumwire_options=self.options)
def parse(self, response):
passтебе надо отдельно запускать каждый драйвер для каждого потока
A
Я максимум 6 драйвером создал, но работали они не стабильно
OS
Из небольшого опыта работы с селениумом: у нас больше просада по ядрам чем по оперативе
A
Ну у каждого свое тз, мне вообще покер нужно на 6 игроков протестировать 😂
AR
нет конечно
AR
и не ищи в доке про скрапи как работать с селениумом
A
и не ищи в доке про скрапи как работать с селениумом
я уже понял)
OS
а Splash тут не подойдёт? я с ним еще не работал, но он же тоже js выполняет
Я сказать точно не смогу, так как и сам не сильно со сплэш поработал, но попробовать стоит
A
А кто сказал что будет просто (с)