МС
то же вариант. Я просто не знаю конкретной задачи. Может тебе отдельно спан нужен, отдельно параграфы
Size: a a a
2020 June 25
A
но может xpath имеет что-то как ::*:div =)
A
ты вообще код дебажил? или просто "не работает, спасите-помогите"?
давай исходники, как то не охота хрустальный шар ковырять
давай исходники, как то не охота хрустальный шар ковырять
Нашел что старые новые цены возвращает пустые, сейчас перепешу селектор и попробую. отпишусь
МС
Нашел что старые новые цены возвращает пустые, сейчас перепешу селектор и попробую. отпишусь
душой мы с тобой, держи в курсе 👀
AB
Хелп) жил был паук на сервере, потом хлоп и с этого ip началась капча:
2020-06-25 11:37:02 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://tiu.ru/captcha?url=aHR0cDovL3huLS0zNy15bGNkdWFuaGowaS54bi0tcDFhaS9wcm9kdWN0X2xpc3Tk83fJ5Jkx5WZ04Cr44kLWnf19lYRwtjgV2Nxa9V7ZPg%3D%3D> (failed 3 times): 429 Unknown Status
2020-06-25 11:37:02 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <429 https://tiu.ru/captcha?url=aHR0cDovL3huLS0zNy15bGNkdWFuaGowaS54bi0tcDFhaS9wcm9kdWN0X2xpc3Tk83fJ5Jkx5WZ04Cr44kLWnf19lYRwtjgV2Nxa9V7ZPg%3D%3D>: HTTP status code is not handled or not allowed
Раз с другой тачки все ОК, а капчу решать не хочется, запилил по недавней рекомендации докер с proxybroker и указал в его мете, потестил на другом паучке ок, решил починить сабж и выдает такое:2020-06-25 11:38:31 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://xn--37-ylcduanhj0i.xn--p1ai/product_list> (failed 3 times): Connection was refused by other side: 111: Connection refused.
2020-06-25 11:38:31 [scrapy.core.scraper] ERROR: Error downloading <GET https://xn--37-ylcduanhj0i.xn--p1ai/product_list>
Traceback (most recent call last):
File "/usr/local/lib/python3.7/site-packages/scrapy/core/downloader/middleware.py", line 44, in process_request
return (yield download_func(request=request, spider=spider))
twisted.internet.error.ConnectionRefusedError: Connection was refused by other side: 111: Connection refused.
Попробовал провернуть тоже самое через TOR аналогичная фигня. Эни эдвайс?МС
ммм, может приватная прокся?
AB
хм, типа проксиброкер направляет через стремную проксю? решение вот такое если что https://hub.docker.com/r/alxgrmv/proxybroker/
МС
а у прокси брокера что снаружи торчит?
AB
как понять снаружи? он торчит 8888 портом с именем proxybroker в одной сетке с пауками, в коде в реквестах только meta={'proxy': 'http://proxybroker:8888'}AR
ну и конечно же коннект туда не проходит
AB
мне не так очевидно, Андрей обоснуй)
AR
проверял что коннект проходит?
AB
чет не октрывается)
AR
это библиотека, а не сайт %)
AB
ну я потыкал в него курлом с прокси в myip
AB
ff
AB
аа
AR
ну в общем из лога конечно непонятно, куда именно не коннектит, но оно кроме как к проксе коннектиться никуда и не должно
AR
как прокся задана в скрапи?