AR
да
Size: a a a
2020 December 16
DO
Понял. Тогда буду гуглить, спасибо. Я пока решил все поля спарсить (а их много на странице), а потом разобраться с Item и по ним распихать все.
DO
А лучше не выпендриваться с dataclass в Item, да?
AR
ну если работает то почему бы и нет
DO
просто если на каждое поле нужно будет процессор вешать, проверки, что это URL и тп...
К
Можно указывать типы, в отличии от простых айтемов
A
есть у кого какие-то решения скрейпить linkedin?
DO
А как лучше всего работать с many-to-many и one-to-many полями? В Django/Postgres я умею, но как лучше в scrapy?
Есть объект, я его паршу. Он ссылается на другие объекты. Просто хранить список?
Есть объект, я его паршу. Он ссылается на другие объекты. Просто хранить список?
A
о, енджел_ко)
A
есть список урлов профайлов ?)
AR
А как лучше всего работать с many-to-many и one-to-many полями? В Django/Postgres я умею, но как лучше в scrapy?
Есть объект, я его паршу. Он ссылается на другие объекты. Просто хранить список?
Есть объект, я его паршу. Он ссылается на другие объекты. Просто хранить список?
one to many список, many to many всё равно без постпроцессинга скорее всего не сохранить, так что как удобнее
DO
спасибо
A
Andrii
есть у кого какие-то решения скрейпить linkedin?
никто?
A
:)
Юd
Andrii
никто?
Парсил вакансии. Там была какая то дичь с отображением только первых 1000. Дальше даже при ручном поиске не показывало.
A
Jobs у них не под аутхволом вроде
A
Мне компаний инфо нужно (