AR
погоди, он без логина не работает?
Size: a a a
2020 December 11
AR
а, это только на глагне такая ерунда
AR
но у тебя куки включены, куки с ротацией ипов не очень работают обычно %)
SS
если отключать JS - то похоже
каптча попадается, но реже
К
therealreal.com
после 10 запроса паук получает каптчу, ротация проксей, куки не помогают.
Что надо сделать чтобы обойти защиту? Решать каптчу?
Код:
https://pastebin.com/gjZFGs0d
после 10 запроса паук получает каптчу, ротация проксей, куки не помогают.
Что надо сделать чтобы обойти защиту? Решать каптчу?
Код:
https://pastebin.com/gjZFGs0d
Скорее всего решать. Если говорить об рекапчах и cf, то прокси, селениумы, это лиш способ повысить уровень доверия, но они ничего не гарантируют
СТ
это не так уж дорого стоит, решать капчи
СТ
сильно большой проблемы вроде нет в них
К
это не так уж дорого стоит, решать капчи
Зависит от объемов и ценности самих данных. Конечно самы идеальный вариант, это и подходящие прокси и в финале солвера воткнуть, чтоб отлавливал если таки где-то выдаст капчу, так 100% запросов можно отрабатывать. Ну или второй подход, это только прокси и ретраи
AR
смотря сколько капч, ага
СТ
ну мб, я не нарывался пока так чтоб вообще дофига их было
СТ
и кстати, если эмулировать мобилку, тогда не ловишь рекапчи, что хорошо. по крайней мере на вк так
OS
Кстати логин иногда помогает. На одном сайте была постоянная капча, а после логина давало сделать 10 запросов, потом опять капча. А чтоб зарегать акк, нужно было просто почту указать, даже без подтверждения, так что любое рандомное валидное мыло давало сделать 10 запросов
Думаю после первых пару тысяч регистраций они пофиксили это))
A
Тяну со страницы ссылку на твиттер человека.
В некоторых полях выходного jsona ловлю null - почему и как это отловить?
contact_info['twitterUsername'] = speaker_sec.xpath('.//div[@class="speaker_profiles"]//a[@class="twitter_link"]/@href').get()В некоторых полях выходного jsona ловлю null - почему и как это отловить?
S
Тяну со страницы ссылку на твиттер человека.
В некоторых полях выходного jsona ловлю null - почему и как это отловить?
contact_info['twitterUsername'] = speaker_sec.xpath('.//div[@class="speaker_profiles"]//a[@class="twitter_link"]/@href').get()В некоторых полях выходного jsona ловлю null - почему и как это отловить?
мб, потому что там пусто?
A
мб, потому что там пусто?
Допустим. null - это тип из скрапи?
S
Допустим. null - это тип из скрапи?
JSON формат определяет следующие типы: null, boolean (true, false), number, string, array, object.