Ну, может там синхронный сервер, что уж тут поделаешь

I wish I could understand you guys

😅

I am loving this project

You can use translator, or ask in English if you have questions)

Thank you 🙏🏾. Oh I just have praise for you and your team. This project been around since 2014 according to the docs and I am just starting to learn it.

I have been on the tutorial for a week and loving every moment 👍😊

прикольный сайт и картинки понятные, схоронил себе)

ага

👍

Хочу в скрапи кнопку "сделать квасиво"

Есть подозрение на троттлинг со стороны таргета. Сервер отдает по 500rpm, а раньше отдавал по 3к+. Причем с двух разных клиентов все равно отдает по 500 - так что не в пропускной способности сервера дело. Два вопроса: 1. Можно как-то просто настроить, чтобы из скрапи четные запросы например посылались через прокси, а нечетные напрямую? Это уже увеличит скорость в 2х по-идее. 2. Есть готовые решения для такого револьвера из N-проксей?

You could use http / https proxies with scrapy. There's middle ware for it

Ну да, RotatingProxyMiddleware - это видимо как раз решает 2.

А по 1 как-то можно просто сделать?

Чтобы один запрос прокси, а один напрямую

не проще взять 5-10 прокси и парсить во всю?

поднять что то вроде локальной прокси и добавить 127.0.0.1 в список прокси....

Вариант, но не со скрэпингхаба :)

поддерживаю