Телеграмм чат группы scrapy

Там же на clemfromspace есть еще вроде scrapy pyppeteer, мне скоро придется что-то из них использовать https://github.com/clemfromspace/scrapy-puppeteer

GitHub

clemfromspace/scrapy-puppeteer

Scrapy + Puppeteer. Contribute to clemfromspace/scrapy-puppeteer development by creating an account on GitHub.

источник

20:28пожаловаться #12

tfhx8 in Scrapy

Кирилл

Странно что ты хочешь парсить гугл селениумом)

в теории будет меньше палева через гугл, если еще антидетект сделать)

источник

20:29пожаловаться #13

ildar in Scrapy

Ну раньше может и отсеивало, а сейчас столько этих статеечек по нейронксм

источник

20:29пожаловаться #14

СТ

Семён Трояновский... in Scrapy

Andrii

Как ротейт прокси, подрубил вписал и вперед

https://cptch.net/

cptch.net

cptch.net - онлайн сервис по распознаванию капч и recaptcha

cptch.net обеспечивает распознавание и решение капч на высокой скорости. Для разработчиков предоставляется API капч.

источник

20:29пожаловаться #15

tfhx8 in Scrapy

Кирилл

Странно что ты хочешь парсить гугл селениумом)

я просто не совсем понимаю как скрапи мультипоточно с headless работает, он что на каждый запрос свой экземпляр хрома создает?

источник

20:30пожаловаться #16

ildar in Scrapy

Имхо он создает твистед пул с экземплярами хрома

источник

20:30пожаловаться #17

СТ

Семён Трояновский... in Scrapy

Я уже не помню был какой-то сервис где они прям обещали что капчи будут решать реальные люди из бедных регионов и что покупая сервис по решению капчей у них ты им помогаешь

источник

20:31пожаловаться #18

ildar in Scrapy

И по очереди натравливает на них те реквесты, что нужно обработать, но это я так, пальцем в небо тыкаю)

источник

20:31пожаловаться #19

tfhx8 in Scrapy

ildar

Имхо он создает твистед пул с экземплярами хрома

так это не то, что в процессах несколько копий хрома?)

источник

20:31пожаловаться #20