KK
Эмм, что-то я это пропустил
Size: a a a
2020 October 05
KK
Я думал это у меня треды от aiofiles
БС
какой смысл использовать в расчётах количество ядер, если монга "примерно однопоточная"?
потому что запрос выполняется в несколько стадий, которые хорошо параллелятся. Например расчет query plan, анализ какие страницы заафектятся, загрузка страниц в кеш и т.д.. Плюс часть коннекшенов, будут просто висеть без запросов, потому что твой код что то делает в этот момент. Опять же я говорю не про бенчмарки, а про реальность.
KK
Надо перепроверить
KK
https://motor.readthedocs.io/en/stable/configuration.html#thread-pool-size
Motor uses the Python standard library’s ThreadPoolExecutor to defer network operations to threads. By default, the executor uses at most five threads per CPU core on your system; to override the default set the environment variable MOTOR_MAX_WORKERS.
Some additional threads are used for monitoring servers and background tasks, so the total count of threads in your process will be greater.
🤷♂
Motor uses the Python standard library’s ThreadPoolExecutor to defer network operations to threads. By default, the executor uses at most five threads per CPU core on your system; to override the default set the environment variable MOTOR_MAX_WORKERS.
Some additional threads are used for monitoring servers and background tasks, so the total count of threads in your process will be greater.
🤷♂
И ведь правда на тредах он. Сцук!
KK
А сами разрабы pymongo не шевелятся делать асинхронный вариант?
KK
А то ведь получается что всё равно больше чем CPU_COUNT * 5 запросов по дефолту выполняться не будет.
KK
Хотя это уже больше, чем "эвристика" от Антона 😊
БС
А зачем тебе асинхронный код для работы с базой? Использовать треды это прям правильно. Другое дело, что код часто не красив, приходится на любой чих создавать функцию и её запускать в тред пуле. А еще можно иногда забыть и запустить код в "лупе"
KK
А зачем тебе асинхронный код для работы с базой? Использовать треды это прям правильно. Другое дело, что код часто не красив, приходится на любой чих создавать функцию и её запускать в тред пуле. А еще можно иногда забыть и запустить код в "лупе"
Ну если у меня приложение асинхронное и ему своего оверхеда хватает в евент-лупе. А тут ещё и 5-20 тредов для работы с базой будут мешаться и бороться за GIL
KK
motor так и делает - у него там что-то вроде метаклассов, которыми генерятся асинхронные версии всех классов из pymongo. В частности для asyncio эти классы используют ThreadPoolExecutor
БС
10-20 тредов это много для соединения с базой, но правда зависит от самой базы и профиля нагрузки..
во вторых они не будут бороться за gil, они будут ждать ответа от базы большую часть времени, в общем будут висеть на других локах.
И я не понимаю как производительность улучшиться из за использования asyncio при работе с базой
во вторых они не будут бороться за gil, они будут ждать ответа от базы большую часть времени, в общем будут висеть на других локах.
И я не понимаю как производительность улучшиться из за использования asyncio при работе с базой
KK
Ну может сильно и не улучшится, но оверхед всяко есть. Висеть в локе на сокете мог бы и event-loop. А остальной код pymongo, который формирует запрос к mongo и парсит ответ - всё равно будет скорее всего хватать GIL. С тем же успехом он бы работал в основном треде, только не было бы оверхеда на переключение потоков.
БС
что то я сомневаюсь, но меня можно убедить, показав бенчмарки тредого и чисто асинхронного кода.
KK
Python 3.9 зарелизился!
KK
KK
Теперь питон из коробки умеет в таймзоны:
https://docs.python.org/3.9/library/zoneinfo.html
Правда оно юзает локально установлению в OS базу таймзон. Если у вас её нет (например в винде), то надо ставить пакет tzdata.
https://docs.python.org/3.9/library/zoneinfo.html
Правда оно юзает локально установлению в OS базу таймзон. Если у вас её нет (например в винде), то надо ставить пакет tzdata.
RB
Любое выражение в декораторе это демонстрация возможностей нового парсера?
KK
Наверное в том числе, хотя кому-то фича будет полезной.