Pulsar еще есть

ну тоесть можно но тогда лога будет два

top2

Можно конечно

но зачем

ну в смысле можно, кафка сделана для логов

ну в эластик когда логи закидывают, обычно через очередь это делают

чтобы не упасть и не тупить на записи

ага. если ты on-prem кафка топ для этого

камон, остановитесь. приложение пишет тупо лог, желательно в stdout. дальше лог агент это перекладывает куда хотите. не нужно из приложения логи в кафку/еластик писать

приложение пишет structured log, а дальше уже кто-то другой разберется что с ним делать и куда класть

ну кстати есть в этом зерно

Всем привет.

У нас SaaS, 4 сервера, 29 контненейров, все дела. Хотим наконец-то централизованно собирать логи (пока не знаю как много будет логов, по минимум если логировать, то пару Гб в день, наверное, выйдет).

Девопса в команде нет и не предвидится. Бюджет ограничен.

Смотрим в сторону ELK. Лучше в облаке или самим хостить? Девопса у нас штатного нет и пока не предвится, просто хочется побыстрее начать собирать логи. Начитался историй о проблемах с его масштабированием, если самим хостить, поэтому смотрю в сторону облачных хостеров.

вы в AWS?

уехали с него

на digital ocean

делов то эластик масштабировать - новая планка оперативки и ок 🥴

ну, там видимо проблемы начинаются, когда нужно несколько нод делать) в клауд-провайдерах это в пару кликов делается)

если вы не в aws, то я бы смотрел в сторону papertrail.com и подобных

смотрел, у них ведь свое проприетарное что-то? а не elk в облаке