ФТ
Из S3 потом с логами можно удобно работать через Athena с помощью SQL запросов
Size: a a a
2021 February 28
ФТ
Она сама будет расжимать архивы на лету
AD
Athena/s3 значительно дешевле получается по сравнению с cloudwatch. cloudwatch сильно дорого получается если большие объемы логов
ФТ
Athena/s3 значительно дешевле получается по сравнению с cloudwatch. cloudwatch сильно дорого получается если большие объемы логов
Наш клиент 2000$ платил только за логи в CloudWatch Logs, сейчас переезжаем как раз на Firehose + S3 + Athena
ФТ
Скорость выборки у Athena в 10 раз быстрее примерно чем в CloudWatch Logs
AD
как вариант ещё elastic
AD
firehose туда тоже может пулять
PK
вариант с elastic наверное будет дороже чем s3+athena?
AD
да, но дружественнее для девелоперов
AD
developer productivity тоже не стоит забывать
PK
developer productivity тоже не стоит забывать
ок, тут конкретно решаю пока задачу логирования аудит логов, которые не требуются девелоперам 🙂
S
ок, тут конкретно решаю пока задачу логирования аудит логов, которые не требуются девелоперам 🙂
В таком случае нет смысла городить эластик
С другой стороны, хотелось бы единообразия
С другой стороны, хотелось бы единообразия
PK
В таком случае нет смысла городить эластик
С другой стороны, хотелось бы единообразия
С другой стороны, хотелось бы единообразия
единообразие это хорошо, но сейчас эластика нет, есть только cloudwatch logs и отдельный сервис logdna
DZ
audit логи имхо в S3 и там прямым ходом через день в glacier
DZ
если не читает никто всё равно
ФТ
Dmytro Zavalkin
audit логи имхо в S3 и там прямым ходом через день в glacier
Due to a fixed overhead per file (you pay per PUT or GET operation), uploading and downloading many small files on/to Glacier might be very expensive. There is also a 32k storage overhead per file. Hence it’s a good idea is to archive files before upload.
ФТ
вполне может быть, что дешевле будет обычный S3 One Zone-IA
ФТ
либо взять Amazon S3 Intelligent‑Tiering + политика удаления логов старше 3 месяцев и не париться
AD
а ну тогда да
DZ
ну тут надо смотреть на аудит логи, из моего опыта это обычно один файл в день на инстанс