Телеграмм чат группы scrapy

чёта у меня не как не получается достать етот json файл. я его нашёл, скопировал requestheader и поставил в headers моего паука. start_urls у меня сайт который я парсить хочу а url в scrapy.Request() я взял от json файла в котором все данные находятся. что не правилно делаю?

источник

03:51пожаловаться #15

AS

Alexandr Step in Scrapy

wowa wowa

чёта у меня не как не получается достать етот json файл. я его нашёл, скопировал requestheader и поставил в headers моего паука. start_urls у меня сайт который я парсить хочу а url в scrapy.Request() я взял от json файла в котором все данные находятся. что не правилно делаю?

Просто этот запрос в браузере открой, вернёт json ?

источник

07:09пожаловаться #16

М

Мак in Scrapy

букву "э" вырвали из раскладки клавиатуры что ли...

источник

07:56пожаловаться #17

АК

Андрей Кучук in Scrapy

привет, может кто подсказать куда мне нужно копать при этих ошибках, запускаю в контейнере код валится когда пытается открыть url

        options = Options()
        options.binary = which("firefox")
        options.headless = True
        _logger.info('Start driver, {}'.format(which("firefox")))
        driver = webdriver.Firefox(service_log_path='/opt/selenium/selenium.log', options=options)
        _logger.info('Getting URL. {}'.format(url))
        driver.get(url)

источник

09:43пожаловаться #18

S

Snoop Duck in Scrapy

По запросу crawlera гугл предложил рекламу сервиса https://www.scraperapi.com/, который по сути является аналогом краулеры, но за меньшие деньги. Захотел попробовать воспользоваться на сайте, где обычно всплывают капчи после определенного числа запросов с одного адреса. Сделал 10 тестовых запросов, в 4 из которых получил следующий результат:

источник

11:02пожаловаться #19

S

Snoop Duck in Scrapy

Что это за баг такой с капчей? И почему это может происходить? 🤔

источник

11:03пожаловаться #20