Целый день мозги ебал

Воющем нужно спарсить всех вузы всех городов и стран по вк

Все города планеты и их айди я смог спарсить

Но тут возникла проблема, так как апи вк даёт ограничение на запросы через каждый запрос приходится делать паузу 0,5 сек а городов 1,9 млн не эффективно

Был другой вариант, через сайт, почти получилось, но сайт иногда моросит и выдаёт неправильные почему то ответы от сервера, вроде как шадоу бан то ли что хз

Прокси через апи вк не помогут так как ограничение ставится по токену

И вообщем 1,9 млн городов с айди который каждый нужно пропарсить на наличие вуза

Есть у кого какие нибудь мыслишки ?

Запусти несколько парсеров с разбиением по городам 2млн / 5 парсеров - 400 тысяч на парсер
Ну и поставь в них задержку 0.5
Осень тупой способ , но зато работать будет

Да уже решил проблему

Была проблема что в потоке сохранял данные в файл

А надо было это делат. В синхронизации

Scrappy?

Delphi :/

Допустим , но чат по пайтону

Сути не меняет ;)

Я Делфи один наш видел краем глаза , они похожи ?
Я думал он сдох уже

Больше 200 проектов на дельфи и до сих пор кодирую

Суть не в похожести а то что это же язык программирования )

проблема с импортами, заебался уже, на первом скрине структура, "__init__.py" пустой, там вообще ничего нет. Мне нужно запустить storage.py чтобы посмотреть отрабатывает ли вообще то что я наебенил, но я не могу импортнуть очень важный модуль decorators.py , потому что получаю ошибку:
"ImportError: attempted relative import with no known parent package"

Импорт делаю так - from .decorators import with_connection

sys.path указывает на 'C:\\PProject\\sd-auto-report\\sd_auto_report', откуда я и запускаюсь через venv