с первого взгляда сейчас апишка для партнеров поставщиков функцианал открывает, но еще покапаюсь. Спасибо большое!

не документированная, просто ответы в .json

ааа, ооо

супер

спасибо

пожалуйста, но я не знаю как сейчас. Раньше +- минут за 30 весь озон скрапился.

Если не тайна - сбросьте пример запроса плз на апишку

это инфа двух годовалой давности)

Привет, подскажите, пожалуйста, в чем ошибка 🙏🙏🙏
https://stackoverflow.com/questions/62862938/scrapy-splash-did-not-extract-js-generated-code

Минуснули потому что ты проблему не описал

Ты написал что сделал, но что вышло то?

результат https://pastebin.com/7yP91pTy

спасибо, добавил результат

У меня сейчас нет возможности посмотреть в чем там проблема. Но иногда сплэш просто не работает, так бывает, тогда приходится использовать селениум/пюпитер.
Надеюсь до использования сплеша ты попробовал вариант с исследованием xhr запросов, в туториале тоже об этом есть.

может надо было дождаться пока код выполнится?

пытаюсь добавить timer tasks в scrapydweb как тут следующая ошибка:

sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) database is locked
[SQL: SELECT count(*) AS count_1 
FROM (SELECT task_result.id AS task_result_id, task_result.task_id AS task_result_task_id, task_result.execute_time AS task_result_execute_time, task_result.fail_count AS task_result_fail_count, task_result.pass_count AS task_result_pass_count 
FROM task_result 
WHERE task_result.task_id = ?) AS anon_1]
[parameters: (1,)]
(Background on this error at: http://sqlalche.me/e/13/e3q8)

Traceback (most recent call last)

в еще одной консоли запущен scrapyd
в папке dbs есть default.db которая почему то не открывается даже vscode sqlite extension
как добавлять запуски пауков по расписанию?

Спасибо за ответ, пробовал
yield SplashRequest(
           url='https://edadeal.ru/moskva/retailers/5ka',
           args={'wait': 20},
           callback=self.parse
       )
не помогло

sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) database is locked
[SQL: SELECT count(*) AS count_1 
FROM (SELECT task_result.id AS task_result_id, task_result.task_id AS task_result_task_id, task_result.execute_time AS task_result_execute_time, task_result.fail_count AS task_result_fail_count, task_result.pass_count AS task_result_pass_count 
FROM task_result 
WHERE task_result.task_id = ?) AS anon_1]
[parameters: (1,)]
(Background on this error at: http://sqlalche.me/e/13/e3q8)

Traceback (most recent call last)

Пишет что у тебя база залочена

Коллеги, банальный вопрос: может кто подскажет, где лучше всего платные прокси покупать?

(за исключением crawlera)