MP
Чуть позже скажу, не у компа сейчас
Size: a a a
2018 June 09
SM
Хорошо)
MP
а как посмотреть сколько реплик? и есть какая-то методика расчета? понять избыточность
GET _cat/shards/index-name
SM
GET _cat/shards/index-name
Спасибо. А сколько из должно быть?
MP
Спасибо. А сколько из должно быть?
по дефолту идет 5 шардов на один индекс и одна реплика на каждый шард
SM
по дефолту идет 5 шардов на один индекс и одна реплика на каждый шард
Ага. Понял. И последний вопрос, никак не могу вникнуть, шарды это зачем?
MP
@sergeymurashow, вот тут внизу написанно https://codedzen.ru/elasticsearch-vvedeniye-1-1-osnovnyye-ponyatiya/ а вообще, очень рекомендую почитать всю статью и соседние тоже. Крайне доходчиво написанно
SM
@sergeymurashow, вот тут внизу написанно https://codedzen.ru/elasticsearch-vvedeniye-1-1-osnovnyye-ponyatiya/ а вообще, очень рекомендую почитать всю статью и соседние тоже. Крайне доходчиво написанно
Шикарно! Огромное спасибо!
MA
@sergeymurashow , @vizdrag , @gzhegow , @volarenege @Mr_4nders0n , @IvanLopatin , @leahch , коллеги, друзья, поделитесь информацией - в каких сферах вы применяете компоненты ELK-стека , какие объёмы данных крутятся и насколько круты по железу ваши кластера. Телеграм-канал у нас маленький, но уверен, информация будет полезна всем присутствующим, особенно если будут технические подробности ☺️👍
EG
Vps с говнистым диском
Как бд, как поисковик адресов, как промежуточную бд для снятия отчётов - не более 8 ядер, не более 8 оперативы.
Как логирование всего и вся (гельф udp + syslog) с 80 тачек в 12 ядер 16 рамы.
Без кластеризации, 7 инстансов (1 проект = 2 ноды)
Как бд, как поисковик адресов, как промежуточную бд для снятия отчётов - не более 8 ядер, не более 8 оперативы.
Как логирование всего и вся (гельф udp + syslog) с 80 тачек в 12 ядер 16 рамы.
Без кластеризации, 7 инстансов (1 проект = 2 ноды)
MA
Vps с говнистым диском
Как бд, как поисковик адресов, как промежуточную бд для снятия отчётов - не более 8 ядер, не более 8 оперативы.
Как логирование всего и вся (гельф udp + syslog) с 80 тачек в 12 ядер 16 рамы.
Без кластеризации, 7 инстансов (1 проект = 2 ноды)
Как бд, как поисковик адресов, как промежуточную бд для снятия отчётов - не более 8 ядер, не более 8 оперативы.
Как логирование всего и вся (гельф udp + syslog) с 80 тачек в 12 ядер 16 рамы.
Без кластеризации, 7 инстансов (1 проект = 2 ноды)
круто, спасибо за рассказ). Какие объемы данных прокручиваются на таком конфиге, отсутствие кластеризации сделано по тех. соображениям?
EG
Самое большое - логи. Остальное не превышает 25 гб (на диске).
MA
Самое большое - логи. Остальное не превышает 25 гб (на диске).
kibana используется как тех. интерфейс администратора системы или выдаете доступ пользователям?
EG
ldap nginx
EG
Доступ прогерам посерверный
SM
@sergeymurashow , @vizdrag , @gzhegow , @volarenege @Mr_4nders0n , @IvanLopatin , @leahch , коллеги, друзья, поделитесь информацией - в каких сферах вы применяете компоненты ELK-стека , какие объёмы данных крутятся и насколько круты по железу ваши кластера. Телеграм-канал у нас маленький, но уверен, информация будет полезна всем присутствующим, особенно если будут технические подробности ☺️👍
Использую кластер из 6 год каждая на свой Вирт машине в сфере. На каждой ноде 12 процессоров и 32 оперативки. В кластере 4 дата ноды, две клиентские с логсташем. На одной из них ещё и кибана. Первый логсташ собирает логи mysql и nginx. Логи приложений идут напрямую в эластик. Второй логсташ собирает только netflow, ибо модуль требует своего логсташа да и netflow требователен к ресурсам. В общем все вместе занимает почти 800 гигов. Самые ёмкие логи это mysql. Ну и я думаю, что где-то у меня что-то лишнее есть, поэтому такой объем. Назначения два, это логи для программистов и мониторинг происходящего в сети с графиками и красотой
EG
Использую кластер из 6 год каждая на свой Вирт машине в сфере. На каждой ноде 12 процессоров и 32 оперативки. В кластере 4 дата ноды, две клиентские с логсташем. На одной из них ещё и кибана. Первый логсташ собирает логи mysql и nginx. Логи приложений идут напрямую в эластик. Второй логсташ собирает только netflow, ибо модуль требует своего логсташа да и netflow требователен к ресурсам. В общем все вместе занимает почти 800 гигов. Самые ёмкие логи это mysql. Ну и я думаю, что где-то у меня что-то лишнее есть, поэтому такой объем. Назначения два, это логи для программистов и мониторинг происходящего в сети с графиками и красотой
Мускуль то чего так много? Слоулог после 0.1 секунды?
SM
Мускуль то чего так много? Слоулог после 0.1 секунды?
Мускуль занимает где-то 80. Остальное это остальное)
MA
Использую кластер из 6 год каждая на свой Вирт машине в сфере. На каждой ноде 12 процессоров и 32 оперативки. В кластере 4 дата ноды, две клиентские с логсташем. На одной из них ещё и кибана. Первый логсташ собирает логи mysql и nginx. Логи приложений идут напрямую в эластик. Второй логсташ собирает только netflow, ибо модуль требует своего логсташа да и netflow требователен к ресурсам. В общем все вместе занимает почти 800 гигов. Самые ёмкие логи это mysql. Ну и я думаю, что где-то у меня что-то лишнее есть, поэтому такой объем. Назначения два, это логи для программистов и мониторинг происходящего в сети с графиками и красотой
ML используется ? мускул протоколируется полностью или как написал другой участник слоулоги?
SM
ML используется ? мускул протоколируется полностью или как написал другой участник слоулоги?
Не знаю ( не моя зона ответственности. Но судя по объему полностью