В который раз уже усаживаюсь за задачку с логами.
Дано:
* k8s
* fluent-bit
* приложения: c однострочными логами, также есть python с его tracebackами, и самое вкусное java/scala с их многострочными логами.
* docker пишет логи в json формате.
Надо:
* отправить это все дело в эластик так чтобы многострочные логи предварительно собрались в одну запись каждый.
Проблема:
* input может либо dockerовские логи распаковать парсером docker, либо мультистрочные логи аггрегировать. Одновременно оба действия он делать не может.
Пробовал сначала распарсить docker, потом отправить в forward самому себе и потом уже многострочные логи собрать на втором входе. че-то не выходит, да и tag/match не понятно как однозначно написать….
как быть???