В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

514 membersпожаловаться на группу
2020 July 04

i

ildar in Scrapy
а вообще ты эту штуку можешь уместить в 2 строчки если у тебя новый скрапи:
def parse_months(self, response):
   yield from response.follow_all(urls:=response.xpath("//div[@class='j-calendar-month']/a/@href"), callback=self.parse_dates)

- тут тебе кстати и get() вроде даже  не нужен и даже брать a/@href, т.к. follow и так автоматом по-умолчанию это делает. ну и собсна поэтому он наверное и работает, но при этом не хочет тебе делать print
(хз правда можно ли сюда еще print как-то красиво упихать)
источник
16:12пожаловаться#1

i

ildar in Scrapy
Andrii
urls = response.xpath("//div[@class='j-calendar-month']/a/@href").get()
нет, там наверное .get_all() надо уже
источник
16:13пожаловаться#2

A

Andrii in Scrapy
ildar
нет, там наверное .get_all() надо уже
ну да, потом же итерация.
источник
16:17пожаловаться#3

🇺L

🇺🇦 Ad Libitum in Scrapy
Мужики вы крутые, вы в курсе7
источник
16:24пожаловаться#4

🇺L

🇺🇦 Ad Libitum in Scrapy
Python 3.7
источник
16:28пожаловаться#5

🇺L

🇺🇦 Ad Libitum in Scrapy
говорит, не поддерживает
источник
16:28пожаловаться#6

🇺L

🇺🇦 Ad Libitum in Scrapy
yield from response.follow_all(urls := response.xpath("//div[@class='j-calendar-month']/a/@href"),
источник
16:29пожаловаться#7

🇺L

🇺🇦 Ad Libitum in Scrapy
invalid syntax
источник
16:29пожаловаться#8

К

Кирилл in Scrapy
urls = response
источник
16:29пожаловаться#9

К

Кирилл in Scrapy
там не нужен walrus оператор
источник
16:30пожаловаться#10

К

Кирилл in Scrapy
и да, он с 3.8
источник
16:30пожаловаться#11

🇺L

🇺🇦 Ad Libitum in Scrapy
Скажите, а если я хочу формировать XML-структуру из получившегося, для последующего импорта, и вообще отлаживать где у меня что ломается, то как я могу писать в XML промежуточные результаты? Потому что сейчас например -o test.xml нулевой.
def parse(self, response):
    urls = response.xpath("//ul[@class='j-years-nav']/li/a/@href")
    for url in urls:
        yield response.follow(url, callback=self.parse_months)

def parse_months(self, response):
    urls = response.xpath("//div[@class='j-calendar-month']/a/@href")
    for url in urls:
        yield response.follow(url, callback=self.parse_dates)
def parse_dates(self, response):
    pass
источник
16:38пожаловаться#12

🇺L

🇺🇦 Ad Libitum in Scrapy
А я хочу увидеть что на этом шаге оно соскребло себе в копилку, чтобы понимать,где я не то собираю )
источник
16:38пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
Ничего не соскребло, это я так скажу
источник
16:51пожаловаться#14

К

Кирилл in Scrapy
пользуйся дэбагером
источник
16:51пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
Ты ничего не yield'ишь
источник
16:51пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
Непонятно конечно, что потом с этим хмл делать, не глазами же смотреть
источник
16:52пожаловаться#17

🇺L

🇺🇦 Ad Libitum in Scrapy
Да я вообще пытаюсь упростить задачу до максимума, чтобы разобраться.
источник
16:52пожаловаться#18

🇺L

🇺🇦 Ad Libitum in Scrapy
def parse(self, response):
    urls = response.xpath("//ul[@class='j-years-nav']/li/a/@href")
    for url in urls:
        yield response.follow(url, callback=self.parse_months)

def parse_months(self, response):
    pass
источник
16:53пожаловаться#19

🇺L

🇺🇦 Ad Libitum in Scrapy
crawled, finished.
источник
16:54пожаловаться#20