AR
ctrl-shift-f в хромовских девтулз
Size: a a a
2020 October 09
S
ctrl-shift-f в хромовских девтулз
да в лисе так же
ИБ
Good Morning. Would anyone have a video course to share? or handouts?
It was posted some time ago. Search for "udemy" in this group.
MМ
У меня почему то бесконечно выходит
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise CloseSpider("no_proxies")
scrapy_1 | scrapy.exceptions.CloseSpider
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise CloseSpider("no_proxies")
scrapy_1 | scrapy.exceptions.CloseSpider
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise Clos^C
AR
ну так no proxies
МС
какие настройки ?
MМ
ну так no proxies
Он так бесконечно CloseSpider делает, но не выключается
AR
ну упс
MМ
какие настройки ?
ROTATING_PROXY_CLOSE_SPIDER = True
ROTATING_PROXY_BAN_POLICY = 'clinicalsynopsis.policy.MyPolicy'
DOWNLOADER_MIDDLEWARES = {
'rotating_proxies.middlewares.RotatingProxyMiddleware': 61,
'rotating_proxies.middlewares.BanDetectionMiddleware': 62,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400
}
МС
саму проксю как указываешь?
MМ
ROTATING_PROXY_LIST_PATH = 'proxies.txt'В списке все нормально. При старте он проверяет их
class MyPolicy(BanDetectionPolicy):
def response_is_ban(self, request, response):
if f:=response.xpath('body/pre'):
if f.get()[0:20] == '<pre>\nYour IP addres':
logging.warning("IP banned, rotating")
return True
return False
MМ
тк я до этого получил баны на все айпи то у меня нету рабочих прокси и они все забанены
MМ
тк нету рабочих прокси то логично что он сделает эсепшен чтобы парсер выключился
MМ
У меня почему то бесконечно выходит
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise CloseSpider("no_proxies")
scrapy_1 | scrapy.exceptions.CloseSpider
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise CloseSpider("no_proxies")
scrapy_1 | scrapy.exceptions.CloseSpider
scrapy_1 | 2020-10-09 15:27:11 [scrapy.core.scraper] ERROR: Error downloading <GET >
scrapy_1 | Traceback (most recent call last):
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1418, in _inlineCallbacks
scrapy_1 | result = g.send(result)
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/scrapy/core/downloader/middleware.py", line 36, in process_request
scrapy_1 | response = yield deferred_from_coro(method(request=request, spider=spider))
scrapy_1 | File "/usr/local/lib/python3.8/site-packages/rotating_proxies/middlewares.py", line 128, in process_request
scrapy_1 | raise Clos^C
но непонятно почему он бесконечно эту ошибку посылает
MМ
правильно что посылает, проблема в том что при этом эксепшене не выключается почему то
U
It was posted some time ago. Search for "udemy" in this group.
thank you very much
МС
@mmkhitaryan, а он точно "постоянно" долбит? а не выскакивает для тех реквестов, которые УЖЕ успел отправить
MМ
@mmkhitaryan, а он точно "постоянно" долбит? а не выскакивает для тех реквестов, которые УЖЕ успел отправить
не знаю, как проверить?
MМ
вроде просто бесконечный цикл просто из-за того что от эксепшена он должен остановится а не продолжать работать