Size: a a a

DevOps — русскоговорящее сообщество

2020 August 09

GD

G D in DevOps — русскоговорящее сообщество
уважаемые есть кто нибудь, кто сечет в логсташе ?
logstash.yml :
input {
   beats { port => 5044 }
}
filter {
   if [type] == "myType" or [type] == 'myType2' {  
       codec => multiline {
           pattern => "^<%{INT}>%{INT}\s|%{TIMESTAMP_ISO8601}"
           what => "previous"
           negate=> true
       }
       grok {
           patterns_dir => ["/etc/logstash/patterns"]      
           match => { "message" => ["%{MYLOG}", "%{MYLOG_V2}"] }
           overwrite => ['message']
       }
       date {
           match => [ "timestamp" ,"ISO8601", "HH:mm:ss,SSS MM dd yyyy" ]
           locale => "en"
       }
       mutate {
           remove_field => ["timestamp", "hostname"]            
       }      
   }
}
output {  
   elasticsearch {    
       hosts => ["http://localhost:9200"]    index => "%{[@metadats][beat]-%{+YYYY.MM.dd}}"
}  

вылетает с ошибкой
[2020-08-09T08:05:13,134][INFO ][logstash.runner] Starting Logstash {"logstash.version"=>"7.7.0"}
[2020-08-09T08:05:17,168][ERROR][logstash.agent] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of [ \\t\\r\\n], \"#\", \"{\" at line 3, column 15 (byte 70) after input {\n    if [type] == \"myType\" or [type] == 'myType2' {\t\t\n        codec ", :backtrace=>["/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:58:in `compile_imperative'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:66:in `compile_graph'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:28:in `block in compile_sources'", "org/jruby/RubyArray.java:2577:in `map'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:27:in `compile_sources'", "org/logstash/execution/AbstractPipelineExt.java:181:in `initialize'", "org/logstash/execution/JavaBasePipelineExt.java:67:in `initialize'", "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:43:in `initialize'", "/usr/share/logstash/logstascore/lib/logstash/pipeline_action/create.rb:52:in `execute'", "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:342:in `block in converge_state'"]}
[2020-08-09T08:05:17,756][INFO ][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}
[2020-08-09T08:05:22,720][INFO ][logstash.runner] Logstash shut down.


что не так с конфигурацией ?
источник

VS

V 🏴‍☠️ S in DevOps — русскоговорящее сообщество
G D
уважаемые есть кто нибудь, кто сечет в логсташе ?
logstash.yml :
input {
   beats { port => 5044 }
}
filter {
   if [type] == "myType" or [type] == 'myType2' {  
       codec => multiline {
           pattern => "^<%{INT}>%{INT}\s|%{TIMESTAMP_ISO8601}"
           what => "previous"
           negate=> true
       }
       grok {
           patterns_dir => ["/etc/logstash/patterns"]      
           match => { "message" => ["%{MYLOG}", "%{MYLOG_V2}"] }
           overwrite => ['message']
       }
       date {
           match => [ "timestamp" ,"ISO8601", "HH:mm:ss,SSS MM dd yyyy" ]
           locale => "en"
       }
       mutate {
           remove_field => ["timestamp", "hostname"]            
       }      
   }
}
output {  
   elasticsearch {    
       hosts => ["http://localhost:9200"]    index => "%{[@metadats][beat]-%{+YYYY.MM.dd}}"
}  

вылетает с ошибкой
[2020-08-09T08:05:13,134][INFO ][logstash.runner] Starting Logstash {"logstash.version"=>"7.7.0"}
[2020-08-09T08:05:17,168][ERROR][logstash.agent] Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, :exception=>"LogStash::ConfigurationError", :message=>"Expected one of [ \\t\\r\\n], \"#\", \"{\" at line 3, column 15 (byte 70) after input {\n    if [type] == \"myType\" or [type] == 'myType2' {\t\t\n        codec ", :backtrace=>["/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:58:in `compile_imperative'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:66:in `compile_graph'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:28:in `block in compile_sources'", "org/jruby/RubyArray.java:2577:in `map'", "/usr/share/logstash/logstash-core/lib/logstash/compiler.rb:27:in `compile_sources'", "org/logstash/execution/AbstractPipelineExt.java:181:in `initialize'", "org/logstash/execution/JavaBasePipelineExt.java:67:in `initialize'", "/usr/share/logstash/logstash-core/lib/logstash/java_pipeline.rb:43:in `initialize'", "/usr/share/logstash/logstascore/lib/logstash/pipeline_action/create.rb:52:in `execute'", "/usr/share/logstash/logstash-core/lib/logstash/agent.rb:342:in `block in converge_state'"]}
[2020-08-09T08:05:17,756][INFO ][logstash.agent] Successfully started Logstash API endpoint {:port=>9600}
[2020-08-09T08:05:22,720][INFO ][logstash.runner] Logstash shut down.


что не так с конфигурацией ?
В логе написано
источник

NA

Nurmukhamed Artykaly in DevOps — русскоговорящее сообщество
V 🏴‍☠️ S
В логе написано
Сервис под виндой? А присылает логи пна Линукс??
источник

GD

G D in DevOps — русскоговорящее сообщество
V 🏴‍☠️ S
В логе написано
Configuration error
вот я и спрашиваю, что не так ?
источник

GD

G D in DevOps — русскоговорящее сообщество
Nurmukhamed Artykaly
Сервис под виндой? А присылает логи пна Линукс??
нет, все под линуксом
источник

NA

Nurmukhamed Artykaly in DevOps — русскоговорящее сообщество
Ну может ты этот код скопировал откуда-то, а там кодировка была виндовсом??
источник

AA

Alexandr Alexandr in DevOps — русскоговорящее сообщество
Всем привет, кто может подсказать, как прокинуть роутинг до домена через openvpn? На сервере с openvpn доступ до домена есть, для остальных нет
источник

GD

G D in DevOps — русскоговорящее сообщество
Nurmukhamed Artykaly
Ну может ты этот код скопировал откуда-то, а там кодировка была виндовсом??
кодировка? пропустил dos2unix на файл, все таже ошибка
источник

I

Ivanteyka in DevOps — русскоговорящее сообщество
G D
кодировка? пропустил dos2unix на файл, все таже ошибка
перед output скобка вроде лишняя
источник

I

Ivanteyka in DevOps — русскоговорящее сообщество
G D
кодировка? пропустил dos2unix на файл, все таже ошибка
скобки проверяй, что то с ними не то
источник

NS

Nikoly S in DevOps — русскоговорящее сообщество
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
источник

l

lnuynxa in DevOps — русскоговорящее сообщество
Nikoly S
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
Чой то нет? в китае там очень хитрые технологии
источник

В

Владимир in DevOps — русскоговорящее сообщество
Nikoly S
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
Провайдеров пробовали менять?
источник

(

( ͡° ͜ʖ ͡°) in DevOps — русскоговорящее сообщество
Nikoly S
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
Если очень захотеть
источник

NA

Nurmukhamed Artykaly in DevOps — русскоговорящее сообщество
Nikoly S
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
Можно же добежать до Смоленска
источник

GD

G D in DevOps — русскоговорящее сообщество
Ivanteyka
скобки проверяй, что то с ними не то
скобки на месте (скопипастил криво)
источник

y

ymdev in DevOps — русскоговорящее сообщество
Nikoly S
Господа девопсы подскажите технический момент и как это возможно? Сегодня утром в Беларуси активировали блокировку впн, в данный момент перепробовали больше 10 разных впн сервисов и ни один не подключается! Пробовали протоколы open vpn, l2tp, pptp. Как такое вообще возможно? Ведь даже в Китае такого нет.
Уверен, что блокировать vpn никто не стал бы, поскольку в компаниях vpn используется для доступа к внутренней сети. Такая блокировка создала большое кол-во проблем.
Далее, не все vpn следуют стандартам. Даже с DPI ты такое не отличишь от обычного https.
Есть vpn over icmp и прочие штуки.

Возможно, что блокируют все ip, которые известны - есть список всех тор-нод, ip-адресов известных vpn, бесплатных прокси и т.д.
источник

NS

Nikoly S in DevOps — русскоговорящее сообщество
ymdev
Уверен, что блокировать vpn никто не стал бы, поскольку в компаниях vpn используется для доступа к внутренней сети. Такая блокировка создала большое кол-во проблем.
Далее, не все vpn следуют стандартам. Даже с DPI ты такое не отличишь от обычного https.
Есть vpn over icmp и прочие штуки.

Возможно, что блокируют все ip, которые известны - есть список всех тор-нод, ip-адресов известных vpn, бесплатных прокси и т.д.
В том то и дело мы испробовали даже самые малоизвестные
источник

AL

Alex Lively in DevOps — русскоговорящее сообщество
вряд ли блокировка по айпи потому что у меня мой личный впн на вдс тоже не коннектится
источник

AL

Alex Lively in DevOps — русскоговорящее сообщество
опенвпн если что
источник