Size: a a a

Сбор и аналитика системных сообщений

2020 November 25

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Sergey Pechenkó
Скорее второе. Из того, что я лично слышал, от этого часто страают сайты по недвижимости (видимо, связано с большой ценой клика).
Тогда это звучит больше как накрута, а не "нашлем зачем-то приложению логов с целью, что бы разрабы страдали", другой вектор атаки и другой способ защиты, вроде
источник

A

Alexander in Сбор и аналитика системных сообщений
Игорь Персиков
Ну, моё дело находить векторы атаки и стараться их закрывать. А причина, думаю, всегда найдётся
Построение модели угроз без оценки вероятности её реализации и без оценки потенциального ущерба - это что-то новенькое.
источник

AK

Aleksandr Kosolapov in Сбор и аналитика системных сообщений
Игорь Персиков
Привет!
А подскажите, есть ли способ сесурно собирать логи с мобильных приложений? Кренделя зашивать чревато, собственно, как и какие-нибудь сертификаты. А просто так оставлять эндпоинт для логов как-то стрёмно
Firebase crashlytics, туда же ивенты слать. Но там тупо tls. Секурного на мобилках вообще мало.
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
Всем привет, вопрос на засыпку, есть много серверов на nginx, надо собрать логи с них. Есть ли у кого примеры как это лучше сделать? Интресуют сколько было запросов и с каких IP
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
Всем привет, вопрос на засыпку, есть много серверов на nginx, надо собрать логи с них. Есть ли у кого примеры как это лучше сделать? Интресуют сколько было запросов и с каких IP
Можешь слать через syslog на lo на локальный логколлектор (rsyslog, например), а можешь писать в файлы и читать коллектором их.
Желательно писать сразу в структурированном виде, форматируя логи в виде json-а.
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
а как на счет stub ? просто на каждом сервере ставить какойто коллектор которые отправляет нет возможности, а вот конфиг поправить легко (это докер контейнера)
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
а как на счет stub ? просто на каждом сервере ставить какойто коллектор которые отправляет нет возможности, а вот конфиг поправить легко (это докер контейнера)
А как связаны логи и stub?
И не очень верится, что у тебя на сервере нет, например, rsyslog.
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
твой вариант частично подходит, какждый лог nginx редиректнуть в лог и потом от докер логов уже получать в нужно формате
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
твой вариант частично подходит, какждый лог nginx редиректнуть в лог и потом от докер логов уже получать в нужно формате
Не надо юзать докерную подсистему логирования.
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
я нашел еще решение через Loki можно прописать в контейнере редирект логов
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
я нашел еще решение через Loki можно прописать в контейнере редирект логов
При чем тут loki? Он локально твои логи не собирает.
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin у тебя вопрос в том, _куда_ собирать логи nginx-а для хранения, или _как_ их собирать и доставлять до хранилища?
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
собирать, доставлять и потом на каком либо дашбоарде показать
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
собирать, доставлять и потом на каком либо дашбоарде показать
Тебе нужны логи или метрики?
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
метрики
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
метрики
Тогда лучше через какой-нибудь stub или vts модуль их собирать и через экспортер загружать в prometheus.
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
можно какой-то пример как, где и что надо прописать?
источник

ZO

Zimin Oleksii in Сбор и аналитика системных сообщений
Желательно с docker-compose
источник

A

Alexander in Сбор и аналитика системных сообщений
Например, через такой https://github.com/nginxinc/nginx-prometheus-exporter
Или такой https://github.com/hnlq715/nginx-vts-exporter

По метрикам какие-то best practice дать не могу, т.к. nginx-овых касался довольно давно.

В целом, по поводу метрик лучше спрашивать https://t.me/metrics_ru (тебя оттуда отправили, потому что ты начал спрашивать про логи).
источник

A

Alexander in Сбор и аналитика системных сообщений
Zimin Oleksii
Желательно с docker-compose
А это не очень важно.
источник