В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Сбор и аналитика системных сообщений

1013 membersпожаловаться на группу
2020 December 07

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Sergey Molokhov
Доброго времени суток. Подскажите пожалуйста, упёрся в проблему преобразования дат, не могу понять, как правильно это сделать.
Отправляю логи IIS через rsyslog в Elasticsearch.
Логи IIS преобразую с помощью mmnormalize .
Начало лога IIS:
20-12-06 20:56:30 W3SVC7 ....   (время тут UTC)
Как из этого сделать @timestamp для шаблона, который отправляется в эластик?
Сейчас пока делаю немного неправильно
   constant(value="{\"@timestamp\":\"")  property(name="timereported" dateFormat="rfc3339")
Что идёт не так?
источник
00:24пожаловаться#1

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
Все идет так, но timereported это немного не та дата. Я уже перечитал кучу доков, но корректного варианта не нашел. Ранее это парсилось гроком логстэша.
источник
00:58пожаловаться#2

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
Нужно именно дату и время из лога взять.
источник
00:59пожаловаться#3

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
https://www.rsyslog.com/doc/master/configuration/properties.html#time-related-system-properties
timereported
timestamp from the message. Resolution depends on what was provided in the message (in most cases, only seconds)
rsyslog
RSyslog Documentation - rsyslog
источник
03:32пожаловаться#4

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Не надо вот этого вот. В этом месте дока не врёт, ну либо ты что-то другое хочешь.
источник
03:33пожаловаться#5

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
Я не хочу время из timereported. Оно сейчас близко к реальному, но всё таки не совсем.  Я хочу распарсить-получить  время из лога виндового IIS сервера, не из header-а syslog сообщения.  Rsyslog не на виндовой машине, данные отправляет nxlog, без обработки.
Я пока не продвинулся дальше наивных попыток сделать что-то подобное:
version=2
rule=:%date:date-iso% %time:time-24hr% %iisname:word%...etc
источник
09:52пожаловаться#6

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
В общем сделал так:
set $!@timestamp = $!date & "T" & $!time;
unset $!date;
unset $!time;

И оно получилось так как нужно. Наверное есть какой то более красивый способ, но в другой раз видимо уже.
Спасибо
источник
10:01пожаловаться#7

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Sergey Molokhov
В общем сделал так:
set $!@timestamp = $!date & "T" & $!time;
unset $!date;
unset $!time;

И оно получилось так как нужно. Наверное есть какой то более красивый способ, но в другой раз видимо уже.
Спасибо
Там есть один способ, но он доступен в очень новых по меркам дистрибутивов версиях. Можно прям дату как дату распарсить.
источник
10:17пожаловаться#8

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
ткните плиз носом
источник
10:17пожаловаться#9

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
В общем, твой вариант даже не очень стремный получился, у меня хуже было
источник
10:17пожаловаться#10

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Сходу не ткну, я с мобилы сейчас. Там в функциях что-то про дату было. Но оно работало в каких-то очень определенных условиях..
источник
10:18пожаловаться#11

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Sergey Molokhov
ткните плиз носом
https://www.rsyslog.com/doc/master/rainerscript/functions/idx_built-in_functions.html
источник
10:21пожаловаться#12

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Тут вот есть parse_time и format_time
источник
10:21пожаловаться#13

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Но не факт что будет лучше
источник
10:22пожаловаться#14

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Не уверен, что там с точностью, кстати.. сдается мне, до секунд только.. надо будет попинать
источник
10:23пожаловаться#15

SM

Sergey Molokhov in Сбор и аналитика системных сообщений
Спасибо. Посмотрю ещё раз. Я их видел и на них пытался сделать, возможно криво.
источник
10:25пожаловаться#16

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Sergey Molokhov
Спасибо. Посмотрю ещё раз. Я их видел и на них пытался сделать, возможно криво.
Навскидку могу предположить, что у вас время в другом формате или с дробной частью (микросекундами например)
источник
10:29пожаловаться#17

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
Ну и парсить время и форматировать его обратно не быстрее, чем две строки склеить
источник
10:29пожаловаться#18
2020 December 08

TF

Terry Filch in Сбор и аналитика системных сообщений
@tnt4brain
офтоп, но все же https://blog.centos.org/2020/12/future-is-centos-stream/
центос перестал быть стебл ;)
источник
21:33пожаловаться#19

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Вот и ответ, зачем:
"...If you are using CentOS Linux 8 in a production environment, and are concerned that CentOS Stream will not meet your needs, we encourage you to contact Red Hat about options...."
источник
21:52пожаловаться#20