AR
нормальных бесплатных не бывает
Size: a a a
2020 July 21
TK
Мне пока нужно для теста что это вообще поможет. А потом для продакшена уже можно будет платные подобрать.
МТ
Привет, подскажите пожалуйста где можно найти прокси нормальные?Пытаюсь парсить https://www.paniniamerica.net/, а он блочит.
TK
спасибо, попробую
МТ
Гуглится по первым строкам запроса. Это один из таких сервисов, которых достаточно много. За бесплатно будет время уходить на перебор, так как их быстро банят, но для тестов сгодится
TK
Бесплатные даже для тестов не годятся
все так плохо?
МС
все так плохо?
на самом деле, все намного хуже :).
если взять 15-20 тысяч бесплатных "анонимных" из них будет ~300 живых и действительно анонимных. А вот элиток (которые не палятся, что они прокси), так вообще единицы.
Прибавь сюда дичайше медленную скорость и очень низкий аптайм - и получишь "бесплатные прокси"
если взять 15-20 тысяч бесплатных "анонимных" из них будет ~300 живых и действительно анонимных. А вот элиток (которые не палятся, что они прокси), так вообще единицы.
Прибавь сюда дичайше медленную скорость и очень низкий аптайм - и получишь "бесплатные прокси"
i
вообще твой запрос явно звучит как кейс для очереди. т.ч. имхо скорее наоборот - все кроме очереди будет костылем
у меня частенько бывает, что то, что начинается как "дану, технология Х для этой штуки это уж больно оверкилл" заканчивается тем, что половину штук в итоге реализуешь велосипедом и в итоге приходишь к тому, что проще было сразу взять ее)
A
+ пупетр)
JW
скажите как правильно дебажить паука в контейнере в vscode? есть docker compose 2 контейнера, один postgres server другой scrapyd+scrapydweb и сам scrapy проект, если в паука добавить debugpy
debugpy.listen(('0.0.0.0', 5678))
debugpy.wait_for_client()мне нужно присоедениться к командной строке контейнера, запустить паука, и только тогда f5 работает, но и тут проблемы...есть способ сделать это более правильно?conf vscode
{
"name": "Python: Remote Attach",
"type": "python",
"request": "attach",
"port": 5678,
"host": "localhost",
"pathMappings": [
{
"localRoot": "${workspaceFolder}",
"remoteRoot": "/usr/src/app"
}
]
},
МП
aws ec2
SS
куда можно недорого захостить парсер ?
минимальный сервер стоит 3-5$/месяц. Но его настраивать надо.
Есть Scrapy Cloud, вроде даже с бесплатным доступом.
Есть Scrapy Cloud, вроде даже с бесплатным доступом.