AB
я так понял они это только начали, будет интересно посмотреть что у них получится
Size: a a a
2021 February 09
VI
Понял. Я заметил у sentry тоже есть свой apm. Пытаюсь понять насколько это что-то юзабельное
ну них это пока больше про фронтенд и пока в зачатках
VI
это как newrelic browser
LM
Дело ясное что дело темное. Чувствую себя в cloud native k8s docker bullshit bingo - у всех есть всё, не понятно что конкретно и работает ли.
Буду изучать. Спасибо. Сэкономили кучу времени на эксперименты.
Буду изучать. Спасибо. Сэкономили кучу времени на эксперименты.
AB
ну них это пока больше про фронтенд и пока в зачатках
у меня в django оно тоже собирается
LM
Кто-то php Laravel приложение в apm собирает? У нас есть один старый толстый монолит и с этим надо что-то делать
Edit: выглядит что у newrelic особо нет альтернатив, остальное все в статусе альфы или беты
Edit: выглядит что у newrelic особо нет альтернатив, остальное все в статусе альфы или беты
2021 February 10
VI
IV
Интересно. Т.е. все важные метрики дублируются по стораджу? Логи тоже храните месяц?
Наверняка спрошу глупость - Prom vs CW - это что?
Наверняка спрошу глупость - Prom vs CW - это что?
логи храним в ES (короткий период времени) и дублируем в S3, а затем их перекладываем в Glacier.
Есть отдельнй daily job, который забирает логи с S3, выдергивает из них интересные для нас метрики и складывает метрики отдельно.
Есть отдельнй daily job, который забирает логи с S3, выдергивает из них интересные для нас метрики и складывает метрики отдельно.
LM
логи храним в ES (короткий период времени) и дублируем в S3, а затем их перекладываем в Glacier.
Есть отдельнй daily job, который забирает логи с S3, выдергивает из них интересные для нас метрики и складывает метрики отдельно.
Есть отдельнй daily job, который забирает логи с S3, выдергивает из них интересные для нас метрики и складывает метрики отдельно.
Метрики храните в чём-то специализированном или просто в базе + ручки?
LM
Я помню Ты кидал примеры питон скриптов для обработки логов 💋👌
IV
процессим логи, стоим датафрейм, пишет в паркет и складываем в datalake на s3
LM
Все слова по отдельности понятные...
LM
Спасибо. Понятно что стоит поизучать в свободное время до общего развития
LM
Датафрейм - помню Ты кидал пейпер описание структуры - выглядит как самое простое из всего этого с чем поиграться
IV
pandas dataframe -> df.to_parquet(’df.parquet’) -> s3 cp …
IV
достаточно стандартный сетап
LM
Я так понимаю прелесть паркет в том что Тулы умеют его напрямую кушать с s3?
IV
не совсем. паркет это просто удобный columnar storage формат файлов, со схемой, компрессией и всей хурмой
IV
замена для csv (очень упрощая)