N
Всем привет, есть задача спарсить яМаркет. Я сначала решил чекнуть file_get_contents. Увидел вот это. И все теперь не могу достучаться даже через $client = new \GuzzleHttp\Client(); и с включеным прокси. Как быть?
Size: a a a
2020 July 03
R#
Headless Chromium
R#
или отдельные решения
ЕК
Всем привет, есть задача спарсить яМаркет. Я сначала решил чекнуть file_get_contents. Увидел вот это. И все теперь не могу достучаться даже через $client = new \GuzzleHttp\Client(); и с включеным прокси. Как быть?
Неужели у них нет API?
w
Неужели у них нет API?
Он вроде бы у них платный и не из дешёвых=)
ЕК
Написать парсер не дороже?)
N
20т месяц
N
Headless Chromium
А что это изменит? У меня в мозиле тоже самое вылазит
SC
А что это изменит? У меня в мозиле тоже самое вылазит
То что ошибка будет не в php, а в хроме)
R#
А что это изменит? У меня в мозиле тоже самое вылазит
если парсить без проксей, ясен пень 403 будет
какая задача вообще в целом
какая задача вообще в целом
R#
20т месяц
это бюджет или парсер стоит?
N
это бюджет или парсер стоит?
Api яндекс маркета использовать 20т в месяц
N
если парсить без проксей, ясен пень 403 будет
какая задача вообще в целом
какая задача вообще в целом
Я только начал делать. 1 страничку пытался получить. Видимо из-за того, что тупа написал file_get_contents сразу поняли, что я шлю автоматически запросы. Я не понимаю почему мне сейчас прокси не помагает и на сколько они мне доступ ограничили (потому что написано что времено)
w
Там же написано почему
w
Слишком много запросов
R#
Я только начал делать. 1 страничку пытался получить. Видимо из-за того, что тупа написал file_get_contents сразу поняли, что я шлю автоматически запросы. Я не понимаю почему мне сейчас прокси не помагает и на сколько они мне доступ ограничили (потому что написано что времено)
это из за того что браузер у тебя без JS, т.е. 98% это бот
R#
а юзер агент у file_get_contents какой ?
w
По умолчанию вроде что то типа PHP Client
R#
этот футпринт 100% есть в базе - итого 100% бот, 403 ему и пусть подумает ))
w
Просто 'PHP' дефолтный агент