Size: a a a

2020 July 12

S

SoHard 🎄 in Scrapy
подскажите почему при json.loads получаю ошибку
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
JSONDecodeError, валидаторы json пишут что норм
источник

A

Alex in Scrapy
Всем привет
из переменной start_urls беруться линки для реквестов. а если у меня файл с кучей линков и функция которая обрабатывает этот файл и возвращает линки
как можно вызвать этот метод до __init__? пробовал через статик\класс метод но нет(
 
class Myclass():
   name = "Myname"
 
   start_urls = Myclass.get_link()

   def __init__(self):
       pass

   def parse(self, response):
       pass

   @staticmethod
   def get_link():
       pass
источник

i

ildar in Scrapy
Тебе не инит надо ковырять, а переопределить метод start_requests, https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests
источник

A

Alex in Scrapy
ildar
Тебе не инит надо ковырять, а переопределить метод start_requests, https://docs.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests
да, спасибо это то что нужно
но, вылетает у меня ошибка
ERROR: Error caught on signal handler: <bound method RefererMiddleware.request_scheduled of <scrapy.spidermiddlewares.referer.RefererMiddleware object
возвращаю я список с ссылкой примерно так
def start_requests(self):
       return self.start_urls
источник

AR

Andrey Rahmatullin in Scrapy
какой еррор-то
источник

AR

Andrey Rahmatullin in Scrapy
а так, в списке наверняка не то, что надо
источник

A

Alex in Scrapy
принтил, ссылка внутри
['https://www.site.com']
источник

A

Alex in Scrapy
in enqueue_request
   if not request.dont_filter and self.df.request_seen(request):
builtins.AttributeError: 'str' object has no attribute 'dont_filter'
источник

A

Alex in Scrapy
это я строку возвращаю, а не список?
источник

К

Кирилл in Scrapy
start_requests должен возвращать итерэйбл с реквестами
источник

A

Alex in Scrapy
return self.start_urls - так не правильно я так понимаю возвращать
источник

К

Кирилл in Scrapy
Ссылки, это не реквесты, так что нет
источник

A

Alex in Scrapy
а как правильно?) плиииз
источник

A

Alex in Scrapy
примерчик если можно
источник

К

Кирилл in Scrapy
источник

S

SoHard 🎄 in Scrapy
Alex
примерчик если можно
источник

A

Alex in Scrapy
спасибо ребят!
return [scrapy.FormRequest(self.list_links[len(self.check_links)])] - так работает)
источник

AR

Andrey Rahmatullin in Scrapy
😳
источник