Телеграмм чат группы scrapy

Знатоки, как правильно готовить ItemLoader?

У меня есть Item, в котором прописаны разные инпут процессоры, и вот я хочу добавить какое-то значение, например

loader.add_xpath("name", "some_xpath")

и тут возникает проблема в том, что если такой xpath не найден на странице, это поле полностью игнорируется itemLoader-ом

Проблема в том, что у меня в input processors написаны все проверки на входное значение

источник

14:07пожаловаться #6

МС

Михаил Синегубов... in Scrapy

т.е. если у тебя ничего нет, то должно вернуть "значение по умолчанию" или что то вроде того?

источник

14:09пожаловаться #7

МС

Михаил Синегубов... in Scrapy

или в чем именно проблема, то что куча проверок - это не проблема, а все верно
по крайней мере, на мой взгляд

источник

14:10пожаловаться #8

Arkady B in Scrapy

у меня есть input_processor который называется check_for_empty_string

мне нужно, чтобы scrapy при любых обстоятельствах передавал значение, или его отсутствие в item loader, но из-за поведения ItemLoader это невозможно

источник

14:12пожаловаться #9

Arkady B in Scrapy

короче scrapy принудительно пропускает результат

источник

14:14пожаловаться #10

Arkady B in Scrapy

Arkady B

короче scrapy принудительно пропускает результат

это метод add_value у itemLoader

источник

14:14пожаловаться #11

Bulatbulat48 in Scrapy

https://docs.scrapy.org/en/latest/topics/loaders.html#scrapy.loader.ItemLoader.get_output_value

источник

14:15пожаловаться #12

Arkady B in Scrapy

Bulatbulat48

https://docs.scrapy.org/en/latest/topics/loaders.html#scrapy.loader.ItemLoader.get_output_value

это не поможет тут, поскольку у меня parse_article выглядит так

loader = ItemLoader(item=ArticleItem(), response=response)
loader.add_xpath("created_at", "XPATH")
yield loader.load_item()

Так вот в рузультате не будет ключа created_at если xpath неверный

источник

14:17пожаловаться #13

Arkady B in Scrapy

Никто не сталкивался с таким я так полагаю?

источник

14:18пожаловаться #14

Andrey Rahmatullin in Scrapy

Обычно не надо, да

источник

14:18пожаловаться #15

Andrey Rahmatullin in Scrapy

Ну перепиши этот метод в своем классе

источник

14:19пожаловаться #16

Arkady B in Scrapy

короче это открытая проблема
https://github.com/scrapy/itemloaders/issues/40

GitHub

Allow None values in Itemloaders/Items · Issue #40 · scrapy/itemloaders

Summary I would like to pass None values to the Itemloader() and store them in an Item(). Right now, None values are discarded and therefore working with Item() does not work properly. Motivation S...

источник

14:21пожаловаться #17

Bulatbulat48 in Scrapy

Arkady B

короче это открытая проблема
https://github.com/scrapy/itemloaders/issues/40

GitHub

Allow None values in Itemloaders/Items · Issue #40 · scrapy/itemloaders

можешь сам пофиксить и кинуть PR 🙂

источник

15:00пожаловаться #18

Arkady B in Scrapy

Bulatbulat48

можешь сам пофиксить и кинуть PR 🙂

Видимо ага

источник

15:01пожаловаться #19

МС

Михаил Синегубов... in Scrapy

Arkady B

короче это открытая проблема
https://github.com/scrapy/itemloaders/issues/40

GitHub

Allow None values in Itemloaders/Items · Issue #40 · scrapy/itemloaders

а проблема именно такая же? с базой?
вросто, если пользовать ORM, там, вроде, можно не передавать необязательные поля...

источник

15:13пожаловаться #20