MP
Мне главное чтобы данные в sql были. А отчёт нужный я сам сделаю. Просто заранее не могу сказать какой фикс. Набор отчётов нужен. Жизнь покажет.
тогда лучше посмотрите на Clickhouse
Size: a a a
2020 March 11
AS
По таким данным sql точно отказать
AS
колоночные бд да
AS
тут вот как раз кейс когда sql нуууу токое
MP
Это не пугает.
вы не поняли, вам надо будет перекладывать данные самим и только потом делать отчет и то без sql
AS
map reduce и прочая херотень
AS
вообще рекомендация переобуться с логов в метрики
AS
тогда timeseries db
AS
и ок будет
AS
А логи это сырые кривые данные
AS
метрики
AA
тут вот как раз кейс когда sql нуууу токое
Мля. Что для современного железа бд sql в несколько сот гб проблема чтоли? Я пока имел дело со 100 гб mssql. Оперативы 8 гб. Всё устраивало.
AS
не тот профиль нагрузки
MP
метрики
не всю аналитику можно к метрикам свести
AS
SQL хорошо эффективно работает если у вас БД имеет внятную реляционную структуру
AS
Если ее нет то ой
AS
там проще будет логи в сыром виде упакованом хранить и обрабатывать их через lucene с его полнотекстовыми индексами
AS
logstash к примеру да который выше приводили
AS
он как раз для этого