В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

537 membersпожаловаться на группу
2020 July 11

SS

Stanislav Sagan in Scrapy
Кирилл
Собираешь базовые данные, передаёшь в калбэк нужного реквеста, в котором добавляешь дополнительные данные и йелдишь
До меня дошло что ты советовал)

А если я хочу к базовым данным добавить доп. данные с других 5ти страничек. Так возможно организовать?
источник
22:31пожаловаться#1

SS

Stanislav Sagan in Scrapy
Или нужно будет передавать данные дальше, на все 5 страничек и только потом елдить собранное ?
источник
22:33пожаловаться#2

МС

Михаил Синегубов... in Scrapy
✏️ Oleksandr dntPanix |Worm|
читал, все равно не понятно как это применить. Запрос у меня ж получился.
Почему он не выполняется?
Ты из _extract_phones хочешь вернуть результат работы двух функций. По факту, ты возвращаешь реквест (или генератор, до того как поставил return)
Подозреваю, что ты пытаешься сделать
some_value = _extract_phones(...)
Скрапи работает по другому, либо юзай инлайн реквесты, либо читай тутор, там вроде было как собрать с нескольких страниц инфу в один айтем
источник
22:36пожаловаться#3

МС

Михаил Синегубов... in Scrapy
@incker я бы, на твоём месте, через промежуточные данные сделал. К примеру, в базу или в файл.
Собирать с нескольких (с неопределенного количества) страниц данные и объединять в один айтем - мозг закипит.
источник
22:39пожаловаться#4

SS

Stanislav Sagan in Scrapy
Михаил Синегубов
@incker я бы, на твоём месте, через промежуточные данные сделал. К примеру, в базу или в файл.
Собирать с нескольких (с неопределенного количества) страниц данные и объединять в один айтем - мозг закипит.
Оу. Что правда нет функционала дефолтного
источник
22:41пожаловаться#5

МС

Михаил Синегубов... in Scrapy
Если прям хочешь как Кирилл посоветовал... Наверняка там можно до страниц добраться через что то вроде "page=#" через переменную увеличивай страницу и проверяй не последняя ли она.
источник
22:41пожаловаться#6

SS

Stanislav Sagan in Scrapy
Михаил Синегубов
Если прям хочешь как Кирилл посоветовал... Наверняка там можно до страниц добраться через что то вроде "page=#" через переменную увеличивай страницу и проверяй не последняя ли она.
Рекурсией получается?
источник
22:42пожаловаться#7

МС

Михаил Синегубов... in Scrapy
Ага, иначе, если будешь хватать в перемешку страницы - ты не объедениш данные
источник
22:43пожаловаться#8

МС

Михаил Синегубов... in Scrapy
Но опять же, я бы через какую базу сделал.
источник
22:44пожаловаться#9

МС

Михаил Синегубов... in Scrapy
Тем более, если это единичный парсинг
источник
22:45пожаловаться#10

SS

Stanislav Sagan in Scrapy
Михаил Синегубов
Но опять же, я бы через какую базу сделал.
Та нет у меня базы) точнее файлик) Это вообще тестовое задание
источник
22:45пожаловаться#11

SS

Stanislav Sagan in Scrapy
А скрапи я только изучаю)
источник
22:46пожаловаться#12

МС

Михаил Синегубов... in Scrapy
Stanislav Sagan
Та нет у меня базы) точнее файлик) Это вообще тестовое задание
Ааа, тогда однозначно по ТЗ делай😂
источник
22:46пожаловаться#13

SS

Stanislav Sagan in Scrapy
Хах) Ага)
источник
22:47пожаловаться#14

К

Кирилл in Scrapy
Stanislav Sagan
До меня дошло что ты советовал)

А если я хочу к базовым данным добавить доп. данные с других 5ти страничек. Так возможно организовать?
Если больше одного уровня спускаешь данные, скорее всего лучше поменять логику. Тащить данные через много калбэков, это плохо
источник
23:35пожаловаться#15

SS

Stanislav Sagan in Scrapy
Кирилл
Если больше одного уровня спускаешь данные, скорее всего лучше поменять логику. Тащить данные через много калбэков, это плохо
Ну да, согласен
источник
23:36пожаловаться#16
2020 July 12

🇺L

🇺🇦 Ad Libitum in Scrapy
Доброй ночи
источник
04:14пожаловаться#17

🇺L

🇺🇦 Ad Libitum in Scrapy
Если я хочу собрать в кучу post_date & post_time то почему я не могу записать вот так?
for quote in response.xpath('//article'):
    yield {
        post_date = quote.xpath('.//time/@datetime').extract_first(),
        post_time = quote.xpath('.//time//span[@class="date-entryunit__time"]/text()').extract_first(),
        'datetime': post_date+", "+post_time
    }
источник
04:15пожаловаться#18

🇺L

🇺🇦 Ad Libitum in Scrapy
как это правильно сделать, подскажите, пожалуйста?
источник
04:15пожаловаться#19

🇺L

🇺🇦 Ad Libitum in Scrapy
Спасибо, решил по-другому.
источник
04:37пожаловаться#20