1. закрой терминал (крестик рядом с Local)
2. открой терминал
3. cd product_scraper
4. тут уже пробуй свои извращения

̶х̶о̶т̶я̶,̶ ̶с̶т̶о̶п̶,
не, ложная тревога

Сделал как было сказано

😆
оказывается надо войти в папку spiders
я по старой памяти как для crawl писал

runspider работает с самим пауком, а не проектом. Поэтому там папка должна быть spiders, или относительный путь к фалу

В документации есть список комманд, какие зависят от проекта, а какие нет

кстати, тогда, получатеся, он не работает с пайпами, настройками и т.д.?

Всем спасибо, заработало) Пока не понятно что, пойду дальше штрудировать))

Выходит что так. Точно не скажу, ниразу не пользовался runspider. Да и остальными командами тоже не пользуюсь, только crawl

runspider для отдельных пауков, он не нужен если уже есть проект

бери другой туториал или сайт, етот тебе не спарсить (у них защита от парсинга)

Всем здрасте, кто-то ловил такую ошибку?
raise TypeError("quote_from_bytes() expected bytes")

Хоть бы полный трейс показал

сорян

Traceback (most recent call last):
  File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
    result = g.send(result)
  File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 55, in process_response
    response = yield deferred_from_coro(method(request=request, response=response, spider=spider))
  File "/code/yandex_market/middlewares.py", line 99, in process_response
    response = self.solve_captcha(response, request, proxies)
  File "/code/yandex_market/middlewares.py", line 115, in solve_captcha
    key = urllib.parse.quote_plus(response.xpath('//input[@class="form__key"]/@value').get())
  File "/usr/local/lib/python3.8/urllib/parse.py", line 855, in quote_plus
    string = quote(string, safe + space, encoding, errors)
  File "/usr/local/lib/python3.8/urllib/parse.py", line 839, in quote
    return quote_from_bytes(string, safe)
  File "/usr/local/lib/python3.8/urllib/parse.py", line 864, in quote_from_bytes
    raise TypeError("quote_from_bytes() expected bytes")
TypeError: quote_from_bytes() expected bytes

Подозреваю, что по этому селектору приходит None, поэтому тип не совпадает. Ну или второй вариант, что там строка, и её нужно закодировать в байты

Спасибо большое, буду ковырять

Кто то сталкивался с такой ошибкой? Пытался нагуглить не получилось((

Пишу все согласно доке: https://docs.scrapy.org/en/latest/

File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 116, in init
   from protego import Protego
builtins.ModuleNotFoundError: No module named 'protego'

2021-01-14 20:36:46 [twisted] CRITICAL:
Traceback (most recent call last):
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks
   result = g.send(result)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\crawler.py", line 87, in crawl
   self.engine = self._create_engine()
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\crawler.py", line 101, in _create_engine
   return ExecutionEngine(self, lambda _: self.stop())
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\core\engine.py", line 69, in init
   self.downloader = downloader_cls(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\core\downloader\__init__.py", line 83, in init
   self.middleware = DownloaderMiddlewareManager.from_crawler(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler
   return cls.from_settings(crawler.settings, crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\middleware.py", line 35, in from_settings
   mw = create_instance(mwcls, settings, crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\utils\misc.py", line 167, in create_instance
   instance = objcls.from_crawler(crawler, *args, **kwargs)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\downloadermiddlewares\robotstxt.py", line 36, in from_crawler
   return cls(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\downloadermiddlewares\robotstxt.py", line 32, in init
   self._parserimpl.from_crawler(self.crawler, b'')
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 124, in from_crawler
   o = cls(robotstxt_body, spider)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 116, in init
   from protego import Protego
ModuleNotFoundError: No module named 'protego'

самое тупейшее решение, поставить не пробовал?

pip install protego