Size: a a a

2020 July 20

AR

Andrey Rahmatullin in Scrapy
лучше не сделать
источник

AR

Andrey Rahmatullin in Scrapy
ну, кроме того что писать в переменную надо в пайплайне
источник

AR

Andrey Rahmatullin in Scrapy
всё равно это всё для плюшевых проектов, нормальное количество данных в память не влезет
источник

К

Кирилл in Scrapy
Я на klein один раз пробовал, чтоб через вэб был прямой вызов и вывод. Но scrapyrt приятнее получается, если нужно вызвать паук и вернуть данные, и оно отрабатывает парсинг меньше, чем за минуту
источник

t

tfhx8 in Scrapy
Andrey Rahmatullin
ну, кроме того что писать в переменную надо в пайплайне
насчет пайплайн поподробнее можно? Мне небольшое количество данных надо обрабатывать
источник

t

tfhx8 in Scrapy
Кирилл
Я на klein один раз пробовал, чтоб через вэб был прямой вызов и вывод. Но scrapyrt приятнее получается, если нужно вызвать паук и вернуть данные, и оно отрабатывает парсинг меньше, чем за минуту
я хз что это. Мне просто надо выдачу  гугла парсить и сразу данные получать после запроса
источник

К

Кирилл in Scrapy
куда тебе их нужно получать?
источник

t

tfhx8 in Scrapy
в другой скрипт
источник

t

tfhx8 in Scrapy
а другой скрипт может эти данные обрабатывать и ложить в бд
источник

К

Кирилл in Scrapy
pub/sub? можно rabbitmq или celery взять
источник

К

Кирилл in Scrapy
почитай про IPC (Interprocess communication)
источник

t

tfhx8 in Scrapy
это уже костыльно
источник

t

tfhx8 in Scrapy
pub/sub? это про запуск внешний процессов или что?
источник

К

Кирилл in Scrapy
tfhx8
это уже костыльно
что костыльно?
источник

t

tfhx8 in Scrapy
ставить rabbitmq и celery для простого то скрипта
источник

К

Кирилл in Scrapy
хз, ты же хочешь отдельный скрипт, так то и пайплайны справляются с задачей которую ты описал
источник

t

tfhx8 in Scrapy
надо доку про пайплайны прочитать, может и их хватит
источник

К

Кирилл in Scrapy
я то думал ты там хочешь супер распределенную систему, чтоб записи в бд и фильтрации ни на секунду не тормозили парсинг
источник

AR

Andrey Rahmatullin in Scrapy
tfhx8
насчет пайплайн поподробнее можно? Мне небольшое количество данных надо обрабатывать
коллбэк - не место для выдачи данных наружу, это место - пайплайн
источник

AR

Andrey Rahmatullin in Scrapy
а так то же самое
источник