Size: a a a

2020 January 22

i

ildar in Scrapy
ну у меня есть парсер - но смысла его линковать нет особого, там уже из сложностей только то, что надо больше полей вытянуть, поэтому он занимает не пол-страницы как в примере, а страницу) Ну еще используется adapt_response - но это стандартная функция и она тоже есть в доках.
источник

i

ildar in Scrapy
хз, может как-то народ чему научился на примерах то и использует, а в примерах обычно всплывает lxml.etree когда про xml речь заходит
источник

AR

Andrey Rahmatullin in Scrapy
Yurii
Почему же советуют совсем иное обычно
потому что это целый спайдер и я не видел юзкейсов для него
источник

i

ildar in Scrapy
ээ, в каком плане "целый спайдер"?
источник

i

ildar in Scrapy
типа pip лишний прописать лень?)
источник

МС

Михаил Синегубов in Scrapy
ildar
типа pip лишний прописать лень?)
типа родитель класса другой, не привычный :)
на самом деле, это одна из основных причин. Ну и, не забываем привычку. Я, к примеру, только сейчас про него вспомнил :)
источник

A

Andrii in Scrapy
ildar
ну у меня есть парсер - но смысла его линковать нет особого, там уже из сложностей только то, что надо больше полей вытянуть, поэтому он занимает не пол-страницы как в примере, а страницу) Ну еще используется adapt_response - но это стандартная функция и она тоже есть в доках.
а можно скинуть пример, глянуть?)
источник

i

ildar in Scrapy
Еще адски удобно, что иногда в xml не вся инфа, но есть url, и тут легким движением рукивыйти на сайт и допарсить там еще чего не хватает.
источник

AR

Andrey Rahmatullin in Scrapy
ildar
типа pip лишний прописать лень?)
какой пип?
источник

i

ildar in Scrapy
pip install scrapy
источник

AR

Andrey Rahmatullin in Scrapy
ааа эээ
источник

i

ildar in Scrapy
короче я видать чего-то не понял)
источник

AR

Andrey Rahmatullin in Scrapy
я видимо не в курсе, о чём была речь в "советуют совсем иное обычно"
источник

i

ildar in Scrapy
Andrii
а можно скинуть пример, глянуть?)
источник

AR

Andrey Rahmatullin in Scrapy
я думал речь про парсинге хмля внутри обычного спайдера
источник

AR

Andrey Rahmatullin in Scrapy
у него локальные хмлки
источник

i

ildar in Scrapy
так в чем проблема, пишешь file:/// и локальные xml прекрасно открываются, а список их можно получить каким-нибудь import glob и еще одной строчкой
источник

AR

Andrey Rahmatullin in Scrapy
:)))
источник

i

ildar in Scrapy
не, ваще я тоже когда надо было парсить xml, смотрел сначала в сторону xml.etree, все эти блоки обвязок там описанные, потом еще была реализация на BeautifulSoup для другого парсера (тут совет короткий - не пишите обход xml на BS, бхахаха), а потом подумал - блин, может чето в скрапи есть. И та хрень, что занимала 4 страницы, теперь занимает страницу. Профит.
источник

A

Andrii in Scrapy
Еще вопрос: как объединить различные теги в один?
источник