AS
понял, спасибо! на твой вопрос у меня к сожалению ответа нет
Size: a a a
2020 November 13
SP
гайз, необходимо в логстеше разбирать сообщения из rabbitmq из одной очереди по routing_key и отправлять в elastic в одноименный с routing_key индекс. Это мне значит надо под каждый routing_key делать отдельный пайплайн со своим конфигом, или можно как то в одном пайплайне разобрать? routing_key планируется много
Не использовать logstash, а использовать rsyslog. Он умеет в кролика и в эластик, ну и парсер там чуть более, чем мощный.
MK
гайз, необходимо в логстеше разбирать сообщения из rabbitmq из одной очереди по routing_key и отправлять в elastic в одноименный с routing_key индекс. Это мне значит надо под каждый routing_key делать отдельный пайплайн со своим конфигом, или можно как то в одном пайплайне разобрать? routing_key планируется много
можно конечно и делать, но это как то не тру) а можно взять такое, например
if [routing_key] {
elasticsearch {
hosts => ["{{ elastic.host.elastic }}"]
index => "%{routing_key}-%{+YYYY-MM-dd}"
}s0
можно конечно и делать, но это как то не тру) а можно взять такое, например
if [routing_key] {
elasticsearch {
hosts => ["{{ elastic.host.elastic }}"]
index => "%{routing_key}-%{+YYYY-MM-dd}"
}спасибо, уже нарыл в доке и сделал)
MK
спасибо, уже нарыл в доке и сделал)
👍
s0
хм, хотя я из метадаты routing_key достаю:
elasticsearch {
hosts => ["elastic:9200"]
index => "%{[@metadata][routing-key]}"
}BG
а почему не Kafka? Вроде более традиционно, нет?
Кафка как раз более молодежная
AS
ну только если по времени существования… дизайн и исполнение сильно лучше, чем у реббита, особенно для задачи поставки именно логов
BG
Я вангую, что смысл задачи был для истории дублировать события в еластик.
Для ивентов кролик все-таки приятнее кафки, имхо)
Для ивентов кролик все-таки приятнее кафки, имхо)
AS
> Для ивентов кролик все-таки приятнее кафки, имхо)
а чем?
а чем?
GG
Проще стартануть
BG
У кролика внутри существует возможность реализации безумно большого количества разных паттернов работы с событиями, у кафки вроде большая часть этого падает на консьюмера
GG
GG
Но на Кафке есть все необходимые кирпичики. Кафка стримс и все такое. Там не то чтобы это сделать сложно
GG
Зато можно любую убер пушку сделать
GG
А кролик... нафиг нужен
BG
Выбор между продуктов "все в одном" и сбора убер пушки из разного качества палок, которые не всегда совместимы друг с другом всегда имеет значение)
BG
А то из nats тоже вроде можно много чего сделать, но потом оказывается, что надо костыли городить поверх, так как если чего-то нет в базовом протоколе, то приплыли