а щас вон бс4 юзает lxml, притом чуть ли не по дефолту

ну, я в свое время читал "умную" статью, в которой авторизации учили по принципу "смотрие код страницы" и все. Снифер - та ну нах... 🙃

Lxml самый быстрый в супе

Супом парсил большие сайты, писал многопоточность, многостраничность обходил и т д. А потом поизучал scrapy) Этот мир перестал быть прежним)

скажи лучше - познал боль "нахера же я х...ней страдал" 😂

все так)

Я перед скрапи думал перейти с реквестов на aiohttp чтобы не городить многопоток

Но пронесло

не, ну прям для супермегабольшого проекта, я бы выбрал чистый самопис. Все же будет и по шустрее и надежнее.

Жесть)

коллеги, подскажите.
Есть необходимость парсить данные с разных сайтов. Есть набор линков на нужные страницы сайтов.
Я так понимаю, что нужно написать разные парсеры под каждый ресурс, а потом передавать в нужный парсер ссылку для получения результата.
Как с архитектурной точки зрения это лучше реализовать?
Никогда в таком ключе не работал.
Пока смотрю в сторону scrapyrt, но не уверен, что это правильно.
Кто что может посоветовать или может ткнете мордой в статью или в репо подходящий)

ифами.

тока не говори что по одной ссылке на каждом сайте обработать :)

нене. пачка ссылко по каждому сайту

ну, похожий проект был, так что сугубо мое видение
1. ссылки хранятся в базе с полем "тип сайта"
2. куча парсеров, каждый под свой тип
3. есть стартовый скрипт. Он собирает ссылки из базы, создает списки по кажлому типу и кормит ссылки нужным парсерам

обратно в базу пишутся данные одним пайпом.

вот про третий пункт поподробнее. Как правильно кормить и как потом собирать данные от него

сек, щас гляну как делал вообще :))

давай)

а не, я жестоко обманул
1. скрипт по очереди запускает паука, они сами забирают нужные ссылки из базы. Параллельное выполнение, там была какая то заморочка с последовательностью, то ли с банами, то ли еще с чем.
2. паук уже выбирает нудные ссылки и отдает данные в пайп для записи в базу