Size: a a a

Сбор и аналитика системных сообщений

2021 February 01

D

Damian in Сбор и аналитика системных сообщений
Всем привет, есть пропиетарные (формат не стандартный )логи  на сервере , пишутся в файлы. Хотим организовать забор на другой сервер ELK.  Есть опыт с beats но его отказались ставить админы сервера.  Есть ли какое то решение , кто может подскажет? Можем ли обойтись Rsyslog -ом если формата нужного не существует.  Спасибо!
источник

D😼

Dan 😼A in Сбор и аналитика системных сообщений
Damian
Всем привет, есть пропиетарные (формат не стандартный )логи  на сервере , пишутся в файлы. Хотим организовать забор на другой сервер ELK.  Есть опыт с beats но его отказались ставить админы сервера.  Есть ли какое то решение , кто может подскажет? Можем ли обойтись Rsyslog -ом если формата нужного не существует.  Спасибо!
если rsyslog не совсем старый - то можно

Пример мой, с какого-то гайда из инета:
cat /etc/rsyslog.d/01-json-template.conf
template(name="json-template"
 type="list") {
   constant(value="{")
     constant(value="\"@timestamp\":\"")     property(name="timereported" dateFormat="rfc3339")
     constant(value="\",\"@version\":\"1")
     constant(value="\",\"message\":\"")     property(name="msg" format="json")
     constant(value="\",\"sysloghost\":\"")  property(name="hostname")
     constant(value="\",\"severity\":\"")    property(name="syslogseverity-text")
     constant(value="\",\"facility\":\"")    property(name="syslogfacility-text")
     constant(value="\",\"programname\":\"") property(name="programname")
     constant(value="\",\"procid\":\"")      property(name="procid")
   constant(value="\"}\n")
}

tail of /etc/rsyslog.conf
*.*     @ip:port;json-template


если нужно парсить логи - то пропустите через logstash и там сделайте
источник
2021 February 02

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Damian
Всем привет, есть пропиетарные (формат не стандартный )логи  на сервере , пишутся в файлы. Хотим организовать забор на другой сервер ELK.  Есть опыт с beats но его отказались ставить админы сервера.  Есть ли какое то решение , кто может подскажет? Можем ли обойтись Rsyslog -ом если формата нужного не существует.  Спасибо!
mmnormalize в rsyslog берите и будет вам щастье, если rsyslog не древний и не падучий.. тут очень от версии зависит
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Вот эти две доки читать
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Для чтения из файла юзать imfile
источник

D

Damian in Сбор и аналитика системных сообщений
Спасибо, будем копать rsyslog доки
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Damian
Спасибо, будем копать rsyslog доки
Там бывают (хаха) неочевидности, но все находится.. только рекомендую писать конфиги рейнерскриптом («новым» языком описания конфигов), а не $Упячкой.
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Фигово то, что примеров нормальных конфигов в инете мало..
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Yury Bushmelev
Фигово то, что примеров нормальных конфигов в инете мало..
Ну вместо чтения доки проще хайпожорить с хипстерскими балалайками же 😁
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Sergey Pechenkó
Ну вместо чтения доки проще хайпожорить с хипстерскими балалайками же 😁
Это всегда лучше :)
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Yury Bushmelev
Это всегда лучше :)
Я сказал "проще" :-)
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Но конечно лучше взять vector.dev
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Aleksey Shirokikh
Но конечно лучше взять vector.dev
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Aleksey Shirokikh
Но конечно лучше взять vector.dev
Лёш, ну ты прям удивил.
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Это я могу
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Прям неожиданность, шопесец.
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Я даже не читал вопрос. Раз ответ бери рсислог значит правильный ответ вектор
источник