Телеграмм чат группы scrapy

Ну на закрытии паука делаешь sql запрос, получаешь значения которые тебя интересуют, или там где они изменились и отправляешь уведомление. Можно еще не в пауке, а просто скрипт с регулярным запуском

источник

18:44пожаловаться #4

К

Кирилл in Scrapy

Скорее всего все проверки можно одними запросами в бд сделать, и кодом только отправлять уведомления

источник

18:49пожаловаться #5

К

Кирилл in Scrapy

Еще как fancy вариант для ленивых, использовать stats history у спайдермона типа такого, и пихать туда какие-то значения https://spidermon.readthedocs.io/en/latest/howto/stats-collection.html

источник

18:51пожаловаться #6

R

Roma in Scrapy

Vladyslav Babych

Допусти это всё в БД, как тогда?

Это стандартный pipeline. Скрапи должен скрапить и парсить - он и делает - другой процесс должен проверять - что напаршено и какого качества и отправлять уведомление. Вот и выбирай технологию для этого....Ну по быстрому если надо - то уже выше сказали что использовать\

источник

18:55пожаловаться #7

VB

Vladyslav Babych in Scrapy

Roma

Это стандартный pipeline. Скрапи должен скрапить и парсить - он и делает - другой процесс должен проверять - что напаршено и какого качества и отправлять уведомление. Вот и выбирай технологию для этого....Ну по быстрому если надо - то уже выше сказали что использовать\

мне вот этот другой процесс и интересует

источник

18:57пожаловаться #8

R

Roma in Scrapy

Это не Скрапи уже

источник

18:58пожаловаться #9

VB

Vladyslav Babych in Scrapy

Понимаю, ладно извините, если неправильный вопрос задал

источник

18:59пожаловаться #10

R

Roma in Scrapy

Да просто не в том чате - это уже data engineering...к телеге большой чат есть

источник

19:00пожаловаться #11

VB

Vladyslav Babych in Scrapy

Можно ссылочку в лс?

источник

19:01пожаловаться #12

И

Илья in Scrapy

response.xpath('//ul[contains(@class, "prodAttr")][1]') не могу понять почему мне один хер несколько значений дает и как мне выбрать первое

источник

19:01пожаловаться #13

К

Кирилл in Scrapy

Vladyslav Babych

Понимаю, ладно извините, если неправильный вопрос задал

Да просто подучить питон и бд. Это элементарные задачи, даже если не знаком с архитектурой скрапи, при знании питона можно просто сбоку пристроится и делать что нужно. А так, выше уже несколько вариантов есть, сделай один из

источник

19:04пожаловаться #14

A

Andrii in Scrapy

Vladyslav Babych

Можно ссылочку в лс?

Может, csv-diff ?)

источник

19:05пожаловаться #15

К

Кирилл in Scrapy

Илья

response.xpath('//ul[contains(@class, "prodAttr")][1]') не могу понять почему мне один хер несколько значений дает и как мне выбрать первое

.get()

источник

19:05пожаловаться #16

VB

Vladyslav Babych in Scrapy

Кирилл

Да просто подучить питон и бд. Это элементарные задачи, даже если не знаком с архитектурой скрапи, при знании питона можно просто сбоку пристроится и делать что нужно. А так, выше уже несколько вариантов есть, сделай один из

Тут просто чёткой зависимости нет, все элементы могут измениться, так бы я сделал))

источник

19:06пожаловаться #17

И

Илья in Scrapy

Кирилл

.get()

там дальше еще xpath есть

источник

19:06пожаловаться #18

VB

Vladyslav Babych in Scrapy