SS
а каким образом можно посчитать количество ссылок в sitemap?
Size: a a a
2020 July 03
🎱
Вопром не совсем по теме, но: как извлекать информацию из pdf файлов, которые имеют практически одинаковый вид? Самих файлов около 10k.
pdftotext глянь либу
2020 July 04
AR
а каким образом можно посчитать количество ссылок в sitemap?
в скрапи?
SS
да, желательно
AD
Подскажите, пожалуйста, как мне установить Scrapy? Пишет ошибка при установке Twisted
https://pastebin.com/dePwmieh
https://pastebin.com/dePwmieh
AD
Установил последние Build tools
AD
Windows 7
AR
Официальная рекомендация по-прежнему в том чтобы так не делать, а взять конду
🇺L
добрый день
🇺L
а почему
print('*** START parse_months: ' + url) не хочет работать? onlyl concatencate str (not Selector) означает то, что я внутри цикла не могу print для url делать?🇺L
Извините, я только шишки набиваю ещё. )
🇺L
Поменял на всякий пожарный кавычки на двойные, посмотрел ещё раз примеры, попинал по колёсам, лобовуху протёр, все равно остаётся неясным.
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
def parse_months(self, response):
# urls = response.css('a.series-catalog-block')
urls = response.xpath("//div[@class='j-calendar-month']/a/@href")
if urls:
for url in urls:
print("*** START parse_months: "+url)
yield response.follow(url, callback=self.parse_dates)
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
🇺L
Попробовал, тоже не прокатывает. В примере указано response.var но у меня же она внутри цикла
S
а почему
print('*** START parse_months: ' + url) не хочет работать? onlyl concatencate str (not Selector) означает то, что я внутри цикла не могу print для url делать?Там же написано
i
а почему
print('*** START parse_months: ' + url) не хочет работать? onlyl concatencate str (not Selector) означает то, что я внутри цикла не могу print для url делать?забыл небось get() написать
i
Поменял на всякий пожарный кавычки на двойные, посмотрел ещё раз примеры, попинал по колёсам, лобовуху протёр, все равно остаётся неясным.
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
def parse_months(self, response):
# urls = response.css('a.series-catalog-block')
urls = response.xpath("//div[@class='j-calendar-month']/a/@href")
if urls:
for url in urls:
print("*** START parse_months: "+url)
yield response.follow(url, callback=self.parse_dates)
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
и я снова повторяю - if urls тут не нужен)
A
Поменял на всякий пожарный кавычки на двойные, посмотрел ещё раз примеры, попинал по колёсам, лобовуху протёр, все равно остаётся неясным.
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
def parse_months(self, response):
# urls = response.css('a.series-catalog-block')
urls = response.xpath("//div[@class='j-calendar-month']/a/@href")
if urls:
for url in urls:
print("*** START parse_months: "+url)
yield response.follow(url, callback=self.parse_dates)
Ясно, что это не str, но тогда как его вызывать, url[0]? url[1]?
urls = response.xpath("//div[@class='j-calendar-month']/a/@href").get()