Size: a a a

2020 December 16

DO

Daniil Okhlopkov in Scrapy
Andrii
тебе инфо с тегами нужно внутри дива, или же текст с етих тегов?
Мне нужно все, что внутри селектора. Если сделать тупо .get(), то он вернет вместе с div тегами, а хочеца без
источник

DO

Daniil Okhlopkov in Scrapy
Кирилл
Можно ещё попробовать ''.join(response.xpath('div/node()').getall())
ага, я уже думал так сделать, но это ж некрасиво
источник

A

Andrii in Scrapy
что не красиво?)
источник

К

Кирилл in Scrapy
Это нормально
источник

A

Andrii in Scrapy
конкурс красотЬІ прям)
источник

К

Кирилл in Scrapy
Если хочешь, чтоб выглядело красиво, сделай функцию утилиту и вызывай через неё
источник

DO

Daniil Okhlopkov in Scrapy
Кирилл
Если хочешь, чтоб выглядело красиво, сделай функцию утилиту и вызывай через неё
это понятно) я так рано или поздно сделаю.

Просто для себя я уже усвоил "урок": если что-то выглядит некрасиво - ты изобретаешь велосипед. Ребята из scrapy небось уже все запрогали и нужно просто знать нужное заклинание. С Django тоже самое.
источник

К

Кирилл in Scrapy
Daniil Okhlopkov
это понятно) я так рано или поздно сделаю.

Просто для себя я уже усвоил "урок": если что-то выглядит некрасиво - ты изобретаешь велосипед. Ребята из scrapy небось уже все запрогали и нужно просто знать нужное заклинание. С Django тоже самое.
Доля правды в этом есть. Но это покрывает не все случаи жизни
источник

DO

Daniil Okhlopkov in Scrapy
ну либа разививается)))
источник

МС

Михаил Синегубов... in Scrapy
Daniil Okhlopkov
ну либа разививается)))
для либы реализация таких случаев, как то, не сильно надо
источник

К

Кирилл in Scrapy
Daniil Okhlopkov
это понятно) я так рано или поздно сделаю.

Просто для себя я уже усвоил "урок": если что-то выглядит некрасиво - ты изобретаешь велосипед. Ребята из scrapy небось уже все запрогали и нужно просто знать нужное заклинание. С Django тоже самое.
Но сильно париться не стоит, за всеми красивыми методами разных либ стоят те же самые действия которые нужно сделать и тебе. Всякие итерации, конкатенации и т.п.
источник

К

Кирилл in Scrapy
Просто они спрятаны
источник

DO

Daniil Okhlopkov in Scrapy
Еще один вопрос на тему красоты. Вот я хочу достать инт из поля. Но его может не быть.

In [39]: response.xpath(".//span[contains(@class, 'jobCounter')]/text()").get()                                                   
Out[39]: '18'


Я могу конечно записать это в переменную, а потом a = int(a) if a else None, но вдруг в xpath можно сразу инт вернуть, чтобы не писать еще одну эту строчку. В xpath sheat sheet не нашел
источник

A

Andrii in Scrapy
нет нельзя
источник

AR

Andrey Rahmatullin in Scrapy
в XPath нет типов, а get() всегда возвращает строку
источник

К

Кирилл in Scrapy
Daniil Okhlopkov
Еще один вопрос на тему красоты. Вот я хочу достать инт из поля. Но его может не быть.

In [39]: response.xpath(".//span[contains(@class, 'jobCounter')]/text()").get()                                                   
Out[39]: '18'


Я могу конечно записать это в переменную, а потом a = int(a) if a else None, но вдруг в xpath можно сразу инт вернуть, чтобы не писать еще одну эту строчку. В xpath sheat sheet не нашел
Твой вариант нормальный
источник

К

Кирилл in Scrapy
Кирилл
Твой вариант нормальный
Если потом не будет чисиловых операций над None 😅
источник

AR

Andrey Rahmatullin in Scrapy
вообще этому место в процессоре
источник

DO

Daniil Okhlopkov in Scrapy
Кирилл
Если потом не будет чисиловых операций над None 😅
после этого я сразу в бд положу
источник

DO

Daniil Okhlopkov in Scrapy
Andrey Rahmatullin
вообще этому место в процессоре
опа, это какой-то класс? Это из мира Item и ItemLoader?
источник