MG
Спасибо. Выглядит круто, но для моих задач он оверхедный
Size: a a a
2020 December 16
TF
Спасибо. Выглядит круто, но для моих задач он оверхедный
Странно, мы слезли с GA - но этот оверхедный
TF
или тупой, или вы там чет резко урезали хотелки после GA
MG
Мы не слезли. У нас задача завести на бекенд сбор метрик. Там пока никаких нету
MG
Это можно завести через GA, но для нас это не удобно и немного другие цели
SP
Мы не слезли. У нас задача завести на бекенд сбор метрик. Там пока никаких нету
Так метрик или событий? Если метрик - у вас же пром, выставляйте экспортёры, пром всё сделает, на него графану натравите
Если событий, то кликхаус + хз/эластик + кибана :-)
Если событий, то кликхаус + хз/эластик + кибана :-)
MG
Событий. Никак не переключусь(
SP
Тогда выше ^^^
AS
в ga с бека шлют редко. обычно не надо такое.
AS
но если почему то надо — эластик или кх. в зависимости от того с чем умеют работать ваши аналитики
AS
и есть ли у вас аналитики. если нету то кибана друг админа
AS
если аналитики есть может быть они попросят какой то вариант sql-я.
GL
по опыту даже если у вас будет кликхаус или эластик и сбор туда событий с сайта, свою собственную GA очень трудно сделать, потому что UI всегда выигрывает
GL
даже если вы соберете кучу аналитики в КХ, всегда будут люди, которым без SQL нужны будут воронки и сегменты
GL
в общем это норм такие инвестиции, я бы их сначала посчитал ваш ли это бизнес, или проще продолжить юзать YM/GA/заплатить Segment и их конкурентам
AL
Всем привет. Ребят, подскажите пожалуйста, мой конфиг для fluentd, простейший:
<source>
@type forward
@id forward_input
</source>
<match **>
@type elasticsearch
host "localhost"
port 9200
logstash_format true
</match>
пытаюсь проверить командой из документации, то есть такой:
echo '{"message":"hello"}' | fluent-cat debug.log
данная команда ничего не выводит
что я делаю не так?
<source>
@type forward
@id forward_input
</source>
<match **>
@type elasticsearch
host "localhost"
port 9200
logstash_format true
</match>
пытаюсь проверить командой из документации, то есть такой:
echo '{"message":"hello"}' | fluent-cat debug.log
данная команда ничего не выводит
что я делаю не так?
TF
Artem Listopad
Всем привет. Ребят, подскажите пожалуйста, мой конфиг для fluentd, простейший:
<source>
@type forward
@id forward_input
</source>
<match **>
@type elasticsearch
host "localhost"
port 9200
logstash_format true
</match>
пытаюсь проверить командой из документации, то есть такой:
echo '{"message":"hello"}' | fluent-cat debug.log
данная команда ничего не выводит
что я делаю не так?
<source>
@type forward
@id forward_input
</source>
<match **>
@type elasticsearch
host "localhost"
port 9200
logstash_format true
</match>
пытаюсь проверить командой из документации, то есть такой:
echo '{"message":"hello"}' | fluent-cat debug.log
данная команда ничего не выводит
что я делаю не так?
нужно вас собирать в отдельный чат, типа хайповые сборщики логов
D😼
Всем привет. Подскажите, пожалуйста, в какую сторону копать. У каждого сообщения в эластике стоит тег _grokparcefailure, хотя в явном виде grok я нигде не использую.
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
+
Logstash:
elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
template(name="json-template"
type="list") {
constant(value="{")
constant(value="\"@timestamp\":\"") property(name="timereported" dateFormat="rfc3339")
constant(value="\",\"@version\":\"1")
constant(value="\",\"message\":\"") property(name="msg" format="json")
constant(value="\",\"sysloghost\":\"") property(name="hostname")
constant(value="\",\"severity\":\"") property(name="syslogseverity-text")
constant(value="\",\"facility\":\"") property(name="syslogfacility-text")
constant(value="\",\"programname\":\"") property(name="programname")
constant(value="\",\"procid\":\"") property(name="procid")
constant(value="\"}\n")
+
*.* @ip:port;json-templateLogstash:
input {
udp {
host => "ip"
port => port
codec => "json"
type => "rsyslog"
}
}
output {
if [type] == "rsyslog" {
elasticsearch {
hosts => [ "elastic:9200" ]
index => "linux-rsyslog-%{+YYYY.MM.dd}"
}
}
}elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
2020 December 17
OM
Всем привет. Подскажите, пожалуйста, в какую сторону копать. У каждого сообщения в эластике стоит тег _grokparcefailure, хотя в явном виде grok я нигде не использую.
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
+
Logstash:
elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
template(name="json-template"
type="list") {
constant(value="{")
constant(value="\"@timestamp\":\"") property(name="timereported" dateFormat="rfc3339")
constant(value="\",\"@version\":\"1")
constant(value="\",\"message\":\"") property(name="msg" format="json")
constant(value="\",\"sysloghost\":\"") property(name="hostname")
constant(value="\",\"severity\":\"") property(name="syslogseverity-text")
constant(value="\",\"facility\":\"") property(name="syslogfacility-text")
constant(value="\",\"programname\":\"") property(name="programname")
constant(value="\",\"procid\":\"") property(name="procid")
constant(value="\"}\n")
+
*.* @ip:port;json-templateLogstash:
input {
udp {
host => "ip"
port => port
codec => "json"
type => "rsyslog"
}
}
output {
if [type] == "rsyslog" {
elasticsearch {
hosts => [ "elastic:9200" ]
index => "linux-rsyslog-%{+YYYY.MM.dd}"
}
}
}elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
Вангую что у тебя склеились несколько пайплайнов в один, а в одном из них есть грок. Т.е. Есть несколько конфигов которые интерпруются как один
OM
Всем привет. Подскажите, пожалуйста, в какую сторону копать. У каждого сообщения в эластике стоит тег _grokparcefailure, хотя в явном виде grok я нигде не использую.
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
+
Logstash:
elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
rsyslog -> logstash -> elastic
в rsyslog есть темплейт, достаточно простой:
template(name="json-template"
type="list") {
constant(value="{")
constant(value="\"@timestamp\":\"") property(name="timereported" dateFormat="rfc3339")
constant(value="\",\"@version\":\"1")
constant(value="\",\"message\":\"") property(name="msg" format="json")
constant(value="\",\"sysloghost\":\"") property(name="hostname")
constant(value="\",\"severity\":\"") property(name="syslogseverity-text")
constant(value="\",\"facility\":\"") property(name="syslogfacility-text")
constant(value="\",\"programname\":\"") property(name="programname")
constant(value="\",\"procid\":\"") property(name="procid")
constant(value="\"}\n")
+
*.* @ip:port;json-templateLogstash:
input {
udp {
host => "ip"
port => port
codec => "json"
type => "rsyslog"
}
}
output {
if [type] == "rsyslog" {
elasticsearch {
hosts => [ "elastic:9200" ]
index => "linux-rsyslog-%{+YYYY.MM.dd}"
}
}
}elastic: индекс темплейт, в котором в полях только @timestamp, но включен динамический мапинг.
Если убрать index - сообщения падают в индексы logstash нормально. Но если добавлять индекс - вот такая беда.
Как можно задебажить?
Погугли logstash multiple pipeline