Size: a a a

2020 October 09

AR

Andrey Rahmatullin in Scrapy
ctrl-shift-f в хромовских девтулз
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
ctrl-shift-f в хромовских девтулз
да в лисе так же
источник

U

Uilton in Scrapy
Good Morning.  Would anyone have a video course to share?  or handouts?
источник

ИБ

Иван Батурин... in Scrapy
Uilton
Good Morning.  Would anyone have a video course to share?  or handouts?
It was posted some time ago. Search for "udemy" in this group.
источник

Marat Мkhitаrуаn in Scrapy
У меня почему то бесконечно выходит
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise CloseSpider("no_proxies")
scrapy_1  | scrapy.exceptions.CloseSpider
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise CloseSpider("no_proxies")
scrapy_1  | scrapy.exceptions.CloseSpider
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise Clos^C
источник

AR

Andrey Rahmatullin in Scrapy
ну так no proxies
источник

МС

Михаил Синегубов... in Scrapy
какие настройки ?
источник

Marat Мkhitаrуаn in Scrapy
Andrey Rahmatullin
ну так no proxies
Он так бесконечно CloseSpider делает, но не выключается
источник

AR

Andrey Rahmatullin in Scrapy
ну упс
источник

Marat Мkhitаrуаn in Scrapy
Михаил Синегубов
какие настройки ?
ROTATING_PROXY_CLOSE_SPIDER = True
ROTATING_PROXY_BAN_POLICY = 'clinicalsynopsis.policy.MyPolicy'

DOWNLOADER_MIDDLEWARES = {
   'rotating_proxies.middlewares.RotatingProxyMiddleware': 61,
   'rotating_proxies.middlewares.BanDetectionMiddleware': 62,
   'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400
}
источник

МС

Михаил Синегубов... in Scrapy
саму проксю как указываешь?
источник

Marat Мkhitаrуаn in Scrapy
ROTATING_PROXY_LIST_PATH = 'proxies.txt'
В списке все нормально. При старте он проверяет их
class MyPolicy(BanDetectionPolicy):
   def response_is_ban(self, request, response):
       if f:=response.xpath('body/pre'):
           if f.get()[0:20] == '<pre>\nYour IP addres':
               logging.warning("IP banned, rotating")
               return True
       return False
источник

Marat Мkhitаrуаn in Scrapy
тк я до этого получил баны на все айпи то у меня нету рабочих прокси и они все забанены
источник

Marat Мkhitаrуаn in Scrapy
тк нету рабочих прокси то логично что он сделает эсепшен чтобы парсер выключился
источник

Marat Мkhitаrуаn in Scrapy
Marat Мkhitаrуаn
У меня почему то бесконечно выходит
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise CloseSpider("no_proxies")
scrapy_1  | scrapy.exceptions.CloseSpider
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise CloseSpider("no_proxies")
scrapy_1  | scrapy.exceptions.CloseSpider
scrapy_1  | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1  | Traceback (most recent call last):
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1  |     result = g.send(result)
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1  |     response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1  |   File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1  |     raise Clos^C
но непонятно почему он бесконечно эту ошибку посылает
источник

Marat Мkhitаrуаn in Scrapy
правильно что посылает, проблема в том что при этом эксепшене не выключается почему то
источник

U

Uilton in Scrapy
Иван Батурин
It was posted some time ago. Search for "udemy" in this group.
thank you very much
источник

МС

Михаил Синегубов... in Scrapy
@mmkhitaryan,  а он точно "постоянно" долбит? а не выскакивает для тех реквестов, которые  УЖЕ успел отправить
источник

Marat Мkhitаrуаn in Scrapy
Михаил Синегубов
@mmkhitaryan,  а он точно "постоянно" долбит? а не выскакивает для тех реквестов, которые  УЖЕ успел отправить
не знаю, как проверить?
источник

Marat Мkhitаrуаn in Scrapy
вроде просто бесконечный цикл просто из-за того что от эксепшена он должен остановится а не продолжать работать
источник