Size: a a a

2021 January 13

МС

Михаил Синегубов... in Scrapy
вообще, скапи без ошибок поставился? или ошибки были, но "работает и хрен с ним"?
источник

М

Михаил in Scrapy
Михаил Синегубов
вообще, скапи без ошибок поставился? или ошибки были, но "работает и хрен с ним"?
Поставился без ошибок! Самое тупое решение не хочет ставиться выбивает ошибки

Самое тупое решение это поставить scrapy на Windows)) Уже качаю Ubuntu
источник

МС

Михаил Синегубов... in Scrapy
Михаил
Поставился без ошибок! Самое тупое решение не хочет ставиться выбивает ошибки

Самое тупое решение это поставить scrapy на Windows)) Уже качаю Ubuntu
нормальное решение ставить на винду, я сам начинал с нее. Вполне себе работает
источник

A

Andrii in Scrapy
Михаил
Поставился без ошибок! Самое тупое решение не хочет ставиться выбивает ошибки

Самое тупое решение это поставить scrapy на Windows)) Уже качаю Ubuntu
Я без проблем на виндовсе
источник

A

Andrii in Scrapy
Все чики -пики
источник

К

Кирилл in Scrapy
Поставить убунту тоже нормальное решение))
источник

A

Andrii in Scrapy
Кирилл
Поставить убунту тоже нормальное решение))
Потом будут с убунту проблемьі)
источник

МС

Михаил Синегубов... in Scrapy
ну, это если убунту хоть чуток знашь, а не "ой, мля, ух ты, вон оно че"
источник

A

Andrii in Scrapy
Вот сижу щас в кубунту , ну не оно, мне
источник

К

Кирилл in Scrapy
Andrii
Потом будут с убунту проблемьі)
За них хотя бы платить не нужно
источник

A

Andrii in Scrapy
Кирилл
За них хотя бы платить не нужно
🙄😁🤣
источник

A

Andrii in Scrapy
Михаил
Поставился без ошибок! Самое тупое решение не хочет ставиться выбивает ошибки

Самое тупое решение это поставить scrapy на Windows)) Уже качаю Ubuntu
Скачай бюлд тулз и поклади себе скрапи без анаконд
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Скачай бюлд тулз и поклади себе скрапи без анаконд
упс, а это кто?
источник

A

Andrii in Scrapy
Или даже с анакондой переустанови и установи протего
источник

A

Andrii in Scrapy
Михаил Синегубов
упс, а это кто?
Для реатора нужен с++ бюилд тулз
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Для реатора нужен с++ бюилд тулз
та ладна, в систему через whl ставишь твистед и потом живешь спокойно, и через venw и через pipenv, это то, что я проверял
источник

G

Georgiy in Scrapy
Михаил
File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 116, in init
   from protego import Protego
builtins.ModuleNotFoundError: No module named 'protego'

2021-01-14 20:36:46 [twisted] CRITICAL:
Traceback (most recent call last):
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks
   result = g.send(result)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\crawler.py", line 87, in crawl
   self.engine = self._create_engine()
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\crawler.py", line 101, in _create_engine
   return ExecutionEngine(self, lambda _: self.stop())
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\core\engine.py", line 69, in init
   self.downloader = downloader_cls(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\core\downloader\__init__.py", line 83, in init
   self.middleware = DownloaderMiddlewareManager.from_crawler(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler
   return cls.from_settings(crawler.settings, crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\middleware.py", line 35, in from_settings
   mw = create_instance(mwcls, settings, crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\utils\misc.py", line 167, in create_instance
   instance = objcls.from_crawler(crawler, *args, **kwargs)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\downloadermiddlewares\robotstxt.py", line 36, in from_crawler
   return cls(crawler)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\downloadermiddlewares\robotstxt.py", line 32, in init
   self._parserimpl.from_crawler(self.crawler, b'')
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 124, in from_crawler
   o = cls(robotstxt_body, spider)
 File "C:\Users\PC1\anaconda3\envs\pythonProject\lib\site-packages\scrapy\robotstxt.py", line 116, in init
   from protego import Protego
ModuleNotFoundError: No module named 'protego'
Хочу уточнить. С какой целью ты поставил setting ROBOTSTXT_OBEY = True?
источник

A

Andrii in Scrapy
Georgiy
Хочу уточнить. С какой целью ты поставил setting ROBOTSTXT_OBEY = True?
Ну ето за дефолтом
источник

A

Andrii in Scrapy
И нужно соблюдать правила роботс :)
источник

A

Andrii in Scrapy
Так етически правильно
источник