SR
страно что еще в требования не написано: уметь чинить вертолеты
Size: a a a
2021 April 11
MM
Глупое описание вакансии
SR
как и большенство
SR
такое впечателение что теперь каждый школьник основатель мега важной студии
АГ
композер, мускуль) кек
НТ
Ребят, привет, как обойти Cloudflare при парсинге?)
АГ
в чем проблема? забанили по айпи за дудос? как всегда: прокси, паузы между запросами.
НТ
Не, они отдают страницу: "защищено Cloudflare через 5 секунды вас перенаправят"
АГ
увеличь интервал между запросами.
GK
Некоторые сайты отслеживают поведение. Некоторые отдают js, который считает какую-то херню, и только потом перенаправляет на сайт
АГ
возможно также стоит вынести скрипт в крон, чтобы он не хреначил 24 на 7, а лишь какое-то время работал
НТ
там даже если через браузер зайти, то висит сообщение о защите 5сек, потом принимаются куки и защита пропускается
АГ
можно сделать хитрый скрипт, который будет имитировать деятельность человека так, что невозможно будет отличить реального посетителя от скрипта: каждый день в разное рандомное время по 1 - несколько сессий парсинга, между запросами рандомные интервалы времени. + порядок обхода можно рандомизировать.
АГ
но если взять прокси - то можно вообще не запариваться
GK
Такой парсинг устарел уже 100 лет как
GK
Я тебе говорю что с одним пхп ты ничего не спарсишь
АГ
кто мешает парсить селениумом / пупитером?
GK
Хоть рандомное хоть не рандомное