IN
Ты из двух файлов или из трёх собираешь?
из 2х в исо
Size: a a a
2020 September 01
VS
Мне двух мало оказалось
VS
У меня ща cloud-config, user-config и network-config
IN
да мне чисто несколько параметров проверить надо
VS
(патамушта статика везде)
IN
в итеграции с нашим продуктом
VS
в итеграции с нашим продуктом
Если у тебя RH-like, то советую ещё про kickstart почитать
VS
Сразу заранее
ДС
Конфиги в темплейтах хранить (например, consul-template) или ансиблем разворачивать, а репорты в эластик, конечно же
Насчет ансибла согласен ) так еще и для резюме полезнее. А репорты в эластик я пробовал писать, но получилось не так удобно, как через lightsquid и sqstat, а главное намного более объемно, даже с кучей фильтров.
VS
Дмитрий Стародубцев
Насчет ансибла согласен ) так еще и для резюме полезнее. А репорты в эластик я пробовал писать, но получилось не так удобно, как через lightsquid и sqstat, а главное намного более объемно, даже с кучей фильтров.
Ну тут надо либо процессоры писать, либо в логстеше свои пайплайны, тогда норм будет. Хотя может уже чего готового есть (модуль файлбита или пайпы логстеша)
VS
Но я бы наверн выбрал таки файлбит + процессор настроить
VS
Потом всё это в эластик и через божественную кибану смотреть
ДС
Ну тут надо либо процессоры писать, либо в логстеше свои пайплайны, тогда норм будет. Хотя может уже чего готового есть (модуль файлбита или пайпы логстеша)
В логстеше обрезал вообще всё, что только можно было. Все равно неудобно. Если смотреть статистику по загрузке и частым адресам, то может еще будет полезно. А если по каждому юзеру смотреть когда, куда заходил и сколько трафика потратил, то через эластик уже неудобно. Ну или я не понял как это правильно делать
IN
Если у тебя RH-like, то советую ещё про kickstart почитать
нихуянепонял
IN
пойду погуглю
VS
Дмитрий Стародубцев
В логстеше обрезал вообще всё, что только можно было. Все равно неудобно. Если смотреть статистику по загрузке и частым адресам, то может еще будет полезно. А если по каждому юзеру смотреть когда, куда заходил и сколько трафика потратил, то через эластик уже неудобно. Ну или я не понял как это правильно делать
Ты просто фильтры наверн не осилил:)
VS
нихуянепонял
Встроенный провиженер
c
опять про линуксы ебучие :(
ДС
Ты просто фильтры наверн не осилил:)
Ну, фильтры были суровые, примерно вот такие:
if "squid" in [tags] {
grok {
match => {
"message" => "%{NUMBER:timestamp}\s+%{NUMBER:response_time} %{IPORHOST:src_ip} %{NOTSPACE:squid_request_status}/%{NUMBER:http_status_code} %{NUMBER:transfer_size} %{NOTSPACE:http_method} (%{URIPROTO:url_scheme}://)?(?<url_host>\S+?)(:%{INT:url_port})?(/%{NOTSPACE:url_path})?\s+%{NOTSPACE:client_identity}\s+>
}
}
prune {
remove_field => ["[agent][id]","[agent][ephemeral_id]","[agent][hostname]","[agent][type]","[agent][version]","[ecs][version]"]
}
}
Это только часть. Но даже если всё порезать нормально, то хранение логов для 5к юзеров за 30 дней - в эластике это гигабайты, а в sqstat и lightsquid мегабайты.
if "squid" in [tags] {
grok {
match => {
"message" => "%{NUMBER:timestamp}\s+%{NUMBER:response_time} %{IPORHOST:src_ip} %{NOTSPACE:squid_request_status}/%{NUMBER:http_status_code} %{NUMBER:transfer_size} %{NOTSPACE:http_method} (%{URIPROTO:url_scheme}://)?(?<url_host>\S+?)(:%{INT:url_port})?(/%{NOTSPACE:url_path})?\s+%{NOTSPACE:client_identity}\s+>
}
}
prune {
remove_field => ["[agent][id]","[agent][ephemeral_id]","[agent][hostname]","[agent][type]","[agent][version]","[ecs][version]"]
}
}
Это только часть. Но даже если всё порезать нормально, то хранение логов для 5к юзеров за 30 дней - в эластике это гигабайты, а в sqstat и lightsquid мегабайты.