VD
так, ладно, буду курить тогда токен бакеты и думать, хочу ли распилить все задачи)
всем спасибо за помощь!
всем спасибо за помощь!
Size: a a a
2020 June 05
A
Я начинаю понимать что говорил Игорь, не важно какой у тебя кластер, если ты шлешь запросы через свою проксю, которая и выступает лимитером
VD
ну это интересная мысль, понять бы как ее настроить)
E
- таймауты
- circuit breaker
- лимитер
- ретраер
- api gateway
если интересны детали стучитесь в личку, расскажу
- circuit breaker
- лимитер
- ретраер
- api gateway
если интересны детали стучитесь в личку, расскажу
Лучше без лички, мог бы обернуть свой комент в фомо, интересно же!
ИМ
Мы подобную проблему решили следующим образом - запрос /entity/{id}/refresh - синхронно ходит по всем апи и обновляет сущность в базе, клиент ждет ответа секунду, потом вешает прелоадер в интерфейсе и иногда ходит в метод /entity/{id} который смотрит только в базу, дополнительно возвращается статус - доделали таску или нет.
IV
Лучше без лички, мог бы обернуть свой комент в фомо, интересно же!
выше написал: https://t.me/ctodailychat/110546
A
так, ладно, буду курить тогда токен бакеты и думать, хочу ли распилить все задачи)
всем спасибо за помощь!
всем спасибо за помощь!
а какой у вас стек? я промотал вверх, но не нашел чтото
VD
Python, Celery, Flask-restful, SQLAlchemy, Redis, AWS, Postgres
A
сорри, я в питоне не силен, но leaky bucket же.
в данном случае - словарь ликет-бакетов (по одному на каждый исходящий апи)
https://en.wikipedia.org/wiki/Leaky_bucket
сорри, если это уже предлагалось выше
в данном случае - словарь ликет-бакетов (по одному на каждый исходящий апи)
https://en.wikipedia.org/wiki/Leaky_bucket
сорри, если это уже предлагалось выше
VD
да, было, но все равно спасибо)
IV
токены и бакеты прекрасно работают когда вы сервер и вам нужно вести учет сколько раз к вам пришел запрос. если же вы клиент, то скорее всего, вам нужно тикер который отправляет запрос раз в N единиц времени
A
канешн. лики бакет - это лимитированный FIFO-буфер + таймер
A
надо только решить, что делать, когда буфер переполнен. терять пакеты "снизу" или "сверху" буфера. Но это уже зависит от предметной области
A
но вообще я бы поостерегся писать такое на питоне. может всетаки Go или C#....
A
(прикольный мы народ, дай только пообсуждать сферических коней, лишь бы не работать)
ИМ
кстати о работе, мб кто в курсе, в эластике можно построить запрос одновременно к двум индексам?
IV
через bulk запросы
ИМ
*пошел читать*
IV
но не поисковые, а crud