EM
Size: a a a
2020 October 15
ML
А что такое json логи? Просто на выходе поля разделены не пробелами, а запакованы в json? Или что-то более хитрое? У нас всё пишет логи в json’е через https://github.com/rbkmoney/logger_logstash_formatter . Но я не уверен, что на это прямо переходили, а не имели с самого начала.
Ну да, оно
PK
Я не очень понял, что такое 1:10
Ты точно уверен, что ты не видишь какую-то простую проблему, которач жрет у тебя основную массу времени.
360 запросов в секунду - это же смехотворно мало.
Ты точно уверен, что ты не видишь какую-то простую проблему, которач жрет у тебя основную массу времени.
360 запросов в секунду - это же смехотворно мало.
это на один входящий 10 исходящих
AB
Коллеги, а кто перевел на json логи весь сервис?
Вот так чтобы все перетащили и с этого какой-то профит увидели?
Вот так чтобы все перетащили и с этого какой-то профит увидели?
ну в Kibana все будет валиться. можно будет графики строить. фильтры делать. искать какие-то события
AF
да, удобнее фильтровать и можно сразу графики строить из логов
ИИ
А попробуй вместо растлера вызывать curl, мало ли вдруг поможет
такое ляпали уже, даже не через порт, а nif+libevent и все равно оно перегревается.https://github.com/puzza007/katipo
ИИ
Проблема в том, что при увеличении соотношения исходящих запросов производительность валится (350 qps/core при соотношении 1:1, и уже 220 при соотношении 1:3, а цель 1:10,) при тех цифрах, что даст текущая версия на 1:10 бизнес уже будет работать в минус. Из кода там по сути увеличивается только количество запросов через keep-alive gun, и результат приходит большей частью только пустой 204.
ты уверен, что у тебя всё упирается в пережевывание http?
AB
Коллеги, а кто перевел на json логи весь сервис?
Вот так чтобы все перетащили и с этого какой-то профит увидели?
Вот так чтобы все перетащили и с этого какой-то профит увидели?
Мы перешли на logfmt, потому что его умеет fluentbit, для которого есть log driver для докера, вот так)
ML
Мы перешли на logfmt, потому что его умеет fluentbit, для которого есть log driver для докера, вот так)
Чего это такое?
AB
Чего это такое?
Это формат structured логов, вполне эквивалентный json
AB
Ну ладно, может быть, не совсем эквивалентный, в нём нет вложенности и типов данных, кроме строк.
c
добря, подскажите . www.rebar3.org у всех открывается без стилей или это мой глюк ?
да нормалек сейчас в лисе открывает
AB
Профит - хз даже. Относительно строковых логов с разбором регэкспами - очевиден.
Относительно любой другой реализации структурированных логов - хз, есть ли вообще какой-то профит.
Относительно любой другой реализации структурированных логов - хз, есть ли вообще какой-то профит.
SL
да нормалек сейчас в лисе открывает
уже запилил иссью
ИИ
Ну ладно, может быть, не совсем эквивалентный, в нём нет вложенности и типов данных, кроме строк.
ИИ
Да, он
по мне - такой формат лучше json. для заливки в какие-то системы пережевывания можно трансформацию сделать
AB
по мне - такой формат лучше json. для заливки в какие-то системы пережевывания можно трансформацию сделать
Я наоборот, считаю, что json для машинных логов лучше - распространенность решает
ИИ
Я наоборот, считаю, что json для машинных логов лучше - распространенность решает
я не знаю что такое машинные логи. если нечто что никто и никогда не будет смотреть глазами и грепать, то наверно любой формат хорош
AB
Главный плюс logfmt относительно json, конечно, отсутствие типов, и как результат - единообразие выхлопа между реализации