S
Хотелось бы какой-то конкретики, я так-то все свои проблемы и так решаю при помощи aiohttp. Что скрапи предлагает чего нельзя/сложно решить при помощи "библиотек"
с ботами телеграмма знаком?
Size: a a a
2021 February 08
МС
Хотелось бы какой-то конкретики, я так-то все свои проблемы и так решаю при помощи aiohttp. Что скрапи предлагает чего нельзя/сложно решить при помощи "библиотек"
оке,
aiohttp - это запросы и ничего более
scrapy - запросы, очереди, парсинг, сохранение, масштабирование всей этой хрени, легкое прикручивание всяких движкой баз, очередей, кэширования
aiohttp - это запросы и ничего более
scrapy - запросы, очереди, парсинг, сохранение, масштабирование всей этой хрени, легкое прикручивание всяких движкой баз, очередей, кэширования
AS
Понял, благодарю. А в скрапи есть что-то типа RateLimiter для ограничение количества запросов в сек, именно в сек а не макс количества запросов в определенный момент времени?
AS
И какой потолок производительности, 50-80 запросов в сек получится отправлять?
МС
Понял, благодарю. А в скрапи есть что-то типа RateLimiter для ограничение количества запросов в сек, именно в сек а не макс количества запросов в определенный момент времени?
есть с какой интервал между запросами.
либо самому модуль написать.
лично я видел потолок 6000 запросов в минуту
либо самому модуль написать.
лично я видел потолок 6000 запросов в минуту
МС
выше - пока не встречал. Тут вопрос - удержит ли сам сайт
AS
выше - пока не встречал. Тут вопрос - удержит ли сам сайт
До определенного момента у меня скрапер был на requests + threading, но сейчас уперся в производительность потоков. Попробовал aihttp получилось выжать 450 RPS с uvloop.
AS
Еще раз спасибо всем за информацию
МС
До определенного момента у меня скрапер был на requests + threading, но сейчас уперся в производительность потоков. Попробовал aihttp получилось выжать 450 RPS с uvloop.
если тебе нужна "прям ппц какая оптимизация" - то это, скорее всего, как раз, полностью самописный...
ты сами странички чем парсишь?
ты сами странички чем парсишь?
AS
если тебе нужна "прям ппц какая оптимизация" - то это, скорее всего, как раз, полностью самописный...
ты сами странички чем парсишь?
ты сами странички чем парсишь?
orjson
МС
а, у тебя чистый json?
AS
Да
МС
тогда, лови блох на реквестах и (или) либах по обработке json + как ты там сохраняешь.
прям для ловли блох - скрапи, скорее всего, тебя не устроит (ну, я так думаю). Все же, инструмент, написанный и заточенный под конкретную задачу будет шустрее, чем универсальный
прям для ловли блох - скрапи, скорее всего, тебя не устроит (ну, я так думаю). Все же, инструмент, написанный и заточенный под конкретную задачу будет шустрее, чем универсальный
AS
тогда, лови блох на реквестах и (или) либах по обработке json + как ты там сохраняешь.
прям для ловли блох - скрапи, скорее всего, тебя не устроит (ну, я так думаю). Все же, инструмент, написанный и заточенный под конкретную задачу будет шустрее, чем универсальный
прям для ловли блох - скрапи, скорее всего, тебя не устроит (ну, я так думаю). Все же, инструмент, написанный и заточенный под конкретную задачу будет шустрее, чем универсальный
Ок, благодарю.
AS
Golang 😏 или C, вот выход
Уже смотрел в сторону go, но пока остановился на aiohttp))