Size: a a a

Сообщество Python Программистов

2020 March 18

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Sergey Ibragimov
чтобы не запалится, всегда приходится head настраивать, под полное имя браузера... а то как парсить начнешь без него, так сразу скажут, типа ты робот, и сработает капча...
тыкаю api вк с дефолтным хедером
всё вполне нормально, никаких капч и прочей херни не наблюдаю
источник

SI

Sergey Ibragimov in Сообщество Python Программистов
Бензофуран Гетероцикл
тыкаю api вк с дефолтным хедером
всё вполне нормально, никаких капч и прочей херни не наблюдаю
повезло...
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Andrey
Нахрена им парсить не понимаю
потому что людям влом посмотреть как js генерирует динамический контент на странице
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Sergey Ibragimov
повезло...
я больше скажу - тыкаю апи вк асинхронно и с высокой скоростью
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
и точно так же никаких сложностей
источник

A

Andrey in Сообщество Python Программистов
Selenium для парсинга супер медленный
источник

SI

Sergey Ibragimov in Сообщество Python Программистов
Бензофуран Гетероцикл
я больше скажу - тыкаю апи вк асинхронно и с высокой скоростью
просто я могу ошибаться но при запуске селениума активируется node.js сервер, хотя...
источник

A

Andrey in Сообщество Python Программистов
Запихайте в многопоток requests
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Andrey
Запихайте в многопоток requests
фу, блять! от этого решения ВОНЯЕТ!
источник

A

Andrey in Сообщество Python Программистов
Охохо
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
aiohttp
источник

A

Andrey in Сообщество Python Программистов
Ну ок
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
и всё прекрасно
источник

A

Andrey in Сообщество Python Программистов
Хотя выигрыша в скорости нет
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Andrey
Хотя выигрыша в скорости нет
ну тут такое себе заявление
смелое
источник

A

Andrey in Сообщество Python Программистов
Я мерил
источник

SI

Sergey Ibragimov in Сообщество Python Программистов
не парсил им не когда но не раз встречал, кто им пользуется
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Andrey
Я мерил
Какая скорость на хосте самом была?
источник

A

Andrey in Сообщество Python Программистов
Я че помню
источник

БГ

Бензофуран Гетероцик... in Сообщество Python Программистов
Sergey Ibragimov
не парсил им не когда но не раз встречал, кто им пользуется
скрапи, если мне не изменяет память, под капотом пользует асинк и мультипроцессинг
источник