Телеграмм чат группы scrapy

его же все равно парсят успешно

23:59пожаловаться #1

2020 July 06

Dmitry in Scrapy

Не поможет 🤷‍♂️

00:00пожаловаться #2

Dmitry in Scrapy

Лучше сразу подключи резолвер капчи - столько времени сэкономишь

00:00пожаловаться #3

Dmitry in Scrapy

Если очень нужен гугль конечно...

00:01пожаловаться #4

я как-то парсил страницы из гугл кеша. мне в среднем каждые 50-100 запросов прилетала капча. после 1000 страниц стала прилетать каждые 30-50 раз.

00:01пожаловаться #5

пробовал разные таймауты. от 10 до 180 сек. пофиг

00:01пожаловаться #6

не заметил разницы

00:01пожаловаться #7

Stepan Smirnov in Scrapy

а кэши яндекса, мейла есть смысл использовать?

00:03пожаловаться #8

никогда не видел таких кейсов

00:03пожаловаться #9

есть куча сайтов де дешево стоит 1000 разгадываний. проще реально подключить антикапчу

00:04пожаловаться #10

есть куча сайтов де дешево стоит 1000 разгадываний. проще реально подключить антикапчу

и в скрапи будет работать?

00:09пожаловаться #11

есть куча сайтов де дешево стоит 1000 разгадываний. проще реально подключить антикапчу

подключал через scrapy антикапчу?

00:12пожаловаться #12

по вашей логике, если есть антикапча, значит можно парсить с одного ипа. Зачем кучу ипов, если и так понятно что капча вылезит

00:13пожаловаться #13

вроде это юзал https://anti-captcha.com/apidoc/recaptcha . не могу щя найти нужный скрипт в своем бардаке.

00:14пожаловаться #14

tfhx8

я с 1 и парсил

00:14пожаловаться #15

я с 1 и парсил

именно через scrapy?

00:16пожаловаться #16

я с 1 и парсил

если надо будет прасить к примеру 50к запросов в час, то врятли антикапча поможет

00:16пожаловаться #17

50к запросов не знаю. у меня было вроде 5к. за 1 день отработало

00:18пожаловаться #18

50к запросов не знаю. у меня было вроде 5к. за 1 день отработало

тоесть разгадало 50к капч?)

00:20пожаловаться #19

50к запросов не знаю. у меня было вроде 5к. за 1 день отработало

так ты через scrapy?