Size: a a a

2020 December 27

К

Кирилл in Scrapy
Особо нет
источник

A

Andrii in Scrapy
а и еще один вопрос, может есть ли у кого видео как установить скрейпи от а до я (начиная от пайтона, висуал бюилд, скрапи?)
источник

AR

Andrey Rahmatullin in Scrapy
на сайте анаконды инсталлер качаешь, дальше само
источник

AR

Andrey Rahmatullin in Scrapy
видео не нужно
источник

A

Andrii in Scrapy
да то один клиент, америкос, я ему сделал скрипт, написал инструкцию...а он :/
источник

К

Кирилл in Scrapy
Andrii
а и еще один вопрос, может есть ли у кого видео как установить скрейпи от а до я (начиная от пайтона, висуал бюилд, скрапи?)
Ты всё это время не использовал скрэпи?
источник

AR

Andrey Rahmatullin in Scrapy
Andrii
да то один клиент, америкос, я ему сделал скрипт, написал инструкцию...а он :/
я и говорю
источник

К

Кирилл in Scrapy
Andrii
да то один клиент, америкос, я ему сделал скрипт, написал инструкцию...а он :/
Сделай ему на scrapinghub
источник

A

Andrii in Scrapy
анаконда даже пайтон инсталит? круто, щас почитаю, крутой вариант
источник

П

Пастырь in Scrapy
Ребят, подскажите куда копать?

Есть sitemap паук, который работает как надо
Проблема в том, чтобы достать email мне нужно перейти на страницу пользователя, т.е. сделать дополнительный реквест. При выполнении реквеста поле item не заполняется. Что не так я делаю ?
источник

П

Пастырь in Scrapy
В колбек заходит, но данные не елдит
источник

AR

Andrey Rahmatullin in Scrapy
yield Request ничего не возвращает
источник

AR

Andrey Rahmatullin in Scrapy
у тебя какая-то смесь обычного подхода и inline-requests
источник

К

Кирилл in Scrapy
Пастырь
Ребят, подскажите куда копать?

Есть sitemap паук, который работает как надо
Проблема в том, чтобы достать email мне нужно перейти на страницу пользователя, т.е. сделать дополнительный реквест. При выполнении реквеста поле item не заполняется. Что не так я делаю ?
Используй или scrapy-inline-requests, или в отдельном калбэке от этого запроса всё собирай вместе
источник

П

Пастырь in Scrapy
Кирилл
Используй или scrapy-inline-requests, или в отдельном калбэке от этого запроса всё собирай вместе
т.е. мне нужно не в методе parse данные собирать?
источник

AR

Andrey Rahmatullin in Scrapy
тебе нужно понять как колбэки работают
источник

AR

Andrey Rahmatullin in Scrapy
из них ничего обратно не возвращается
источник

К

Кирилл in Scrapy
Пастырь
т.е. мне нужно не в методе parse данные собирать?
Если твой айтем находится на нескольких страницах, тогда нужно несколько запросов. Часть данных собрал в одном калбэке, передал их вместе со следующим вызовов в след калбэк, там всё собрал в один айтем и сделал yield
источник

П

Пастырь in Scrapy
Кирилл
Если твой айтем находится на нескольких страницах, тогда нужно несколько запросов. Часть данных собрал в одном калбэке, передал их вместе со следующим вызовов в след калбэк, там всё собрал в один айтем и сделал yield
Я примерно так и понял, попробую реализовать, спасибо!
источник

П

Пастырь in Scrapy
В поле меты передавать item ?
источник