A
а купить еще 1 ключ?
как вариант притормозить такски к такому api
https://habr.com/ru/post/494090/
Size: a a a
2020 June 05
VD
а купить еще 1 ключ?
долгая история) не получится
VD
ну встроенного rate_limit в celery недостаточно нам
VD
потому что он per worker
A
сейчас вам тут насоветуют, конечно, но вообще если не жалко, опишите более конкретно проблему. судя по интересу, можно обойтись бесплатной консультацией
VD
а надо глобальный.. если мы воткнем еще один сервер, чтобы оба сервера ходили в чужую API с нужной периодичностью
AP
скорее второе
а что значит но и не меньше?
VD
сейчас вам тут насоветуют, конечно, но вообще если не жалко, опишите более конкретно проблему. судя по интересу, можно обойтись бесплатной консультацией
в личке готов все желающим скинуть подробности 🙂
A
если проблема в том, что весь сервис встает из-за одного из АПИ, то логично сделать отдельную очередь / тред пул на этот или каждый сервис
A
тут же коллективный разум, одни подскажут одно - другие равернут идею...
A
Я не спец в реализациях, но тут бы помогло отдельно стоящее token bucket
VD
а что значит но и не меньше?
это значит, что если мы хотим отправлять в API 1 запрос в секунду, а она начнет отдавать ответ каждые 5 секунд, мы все еще должны отправлять каждую 1 секунду. но респонс обрабатывать как-то асинхронно когда придет ответ.
A
а надо глобальный.. если мы воткнем еще один сервер, чтобы оба сервера ходили в чужую API с нужной периодичностью
ок, api может в 10 запросов в минуту, у нас 5 worker'ов, поставим им 2r/m и радуемся жизни
VD
Я не спец в реализациях, но тут бы помогло отдельно стоящее token bucket
вот тут уже предложили:
https://habr.com/ru/post/494090/
https://habr.com/ru/post/494090/
VD
там он как раз
A
вот тут уже предложили:
https://habr.com/ru/post/494090/
https://habr.com/ru/post/494090/
а, точно, сорри, пропустил
A
Я не спец в реализациях, но тут бы помогло отдельно стоящее token bucket
теперь я знаю как по умному оно называется))
VD
ок, api может в 10 запросов в минуту, у нас 5 worker'ов, поставим им 2r/m и радуемся жизни
нужно распределенно в любом случае) запросов очень много, и я боюсь один сервер не вывезет рано или поздно