6

6

#QIWI #работа #удаленка #гибрид #офис #Москва

В QIWI ищем мидла питониста.

#QIWI #работа #удаленка #гибрид #офис #Москва

В QIWI ищем мидла питониста.

До 200 000 gross + квартальная премия 30%
Стек: Python, PostgreSQL, MySQL, c NoSQL, Redis, Elasticsearch, RabbitMQ, Kafka

Необходимо: питон от трех лет, от года коммерческая разработка, автотесты, опыт создания API.

Обязанности:
•  Писать код, поддерживать его
•  Проводить ревью
•  Взаимодействовать с командами

Подробнее: Автоматизация антифрода и
разработка внутреннего портала. API, интерфейсы, админки, средства автоматизации, интеграция.

• Гибрид/удаленка, гибкое начало рабочего дня, Оформляем по ТК РФ, деньги чистые и законные, соцпакет, техника для работы;
• ДМС со стоматологией, страховка для путешествий;
• Внешнее и внутреннее обучение, митапы, конференции, тимбилдинги, английский, библиотеки;
• Парковка, офис рядом со станцией м. Чертановская, фотки : jobs.qiwi.com/office.

✉️  yu.morozova@qiwi.com, @iviorozova и linkedin.com/in/morozy/jobs.qiwi.com/office.

✉️  yu.morozova@qiwi.com, @iviorozova и linkedin.com/in/morozy/

Вопрос к знатокам...
Пишу асинхронно код, в котором в разных местах использую  запросы к api (а именно api библиотеки vkbottle (api vk), но это не так важно). У api vk стоит ограничение, что он корректно отдает json не чаще 3 раз в сек, если запросов больше, то он отдаёт ошибку. Как-то можно в asyncio отследить, чтобы в случае, если запросов больше в определённое время он принудительно делал паузы или что-то на подобии. Может посоветуете в какую сторону копать? Заранее Спасибо!

Скорее всего, придется самому написать скользящее окно и очередь запросов.

Для кидания запросов в пул можно взять шедулер из aiojobs

Лол

=)))

Один бот сломал другого =)

Anyone out there using Django asynchronous code?

8

День добрый, вопрос по asyncio.
Я даже не джун, поэтому заранее приношу извинения за возможную косноязычность.
Прошу подсказать на упрощенном примере .

пример задачи:
Мне нужно распарсить сайт определенной вложенностью. Например,
1) на главной странице есть список производителей чего-либо с URL-ссылками на продукцию
2) по адресу ссылок есть инфа со списком конкретных продуктов
3) собственно сама информация о продуктах

Как я делаю:
парсю основной сайт (1 пункт),
потом асинхронно парсю сайты списков продуктов (2 пункт),
потом уже парсю конечные страницы товаров (3 пункт).

Получается, что я на каждом этапе жду полного завершения предыдущего. Что-то мне подсказывает, что можно как-то улучшить логику, например, получив ответ на страницу производителя LG начать парсить продукты данного производителя, не дожидаясь получения полной информации по другим производителям...

ну вообще концептуально ты можешь разбить это на группы воркеров в отдельных сервисах, слушающих очередь. и спавнить воркеров а не использовать asyncio

воркер-парсер сайта, который принимает, условно site_url и выдаёт таски на каждый товар
воркер-парсер страницы товара, который принимает таску с item_url и выдаёт то, что должен выдавать тебе


⬇️
⬇️SiteParseTask(url="https://some_site.com")
⬇️
воркер-парсер сайта
⬇️
⬇️ItemParseTask(url="https://some_site.com/items/1234")
⬇️
воркер-парсер страницы товаров
⬇️
⬇️ParsedItem(some_data=...)
⬇️
что-то дальнейшее в твоём пайплайне


соответственно всё это делегировать celery, Dramatiq, redis-queue, много вариантов, либо писать самому)

asyncio тебе в данной задаче особо не нужен. разбить на отдельные процессы упростит кодовую базу и повысит читаемость кода

ну это как пример, офк я не предлагаю делать 1в1, просто обратить внимание на альтернативное решение

очевидно, что ты можешь делать всё в рамках одного процесса как делаешь сейчас, просто используй очереди, но я боюсь представить как ты будешь обрабатывать ошибки и что за лапша у тебя получится

Спасибо!!!

Hi

self.contact = await sync_to_async(ClientContact.objects.get, thread_sensitive=True)(pk=22)
                   self.address= await sync_to_async(Address.objects.get, thread_sensitive=True)(contact__id=self.contact.id)

Can anyone tell me how I can do an asynchronous query with relationship?