IS
смотря как лежит, в какой базе, на какой машине
Size: a a a
2020 December 02
IS
У меня сейчас рядом почти террабайт в кеше, адовые запросы за секунды
АК
Могу уточнить вопрос так (в контексте комментария про "прикольные SQL запросы"): если события "как есть" лежат в одной адовой таблице, где каждая строка — сессия, то стоит ли туда соваться для имитации Amplitude, или же такой формат хранения не позволит писать те самые "прикольные запросы"?
Ты CH пошукай получше. У них же движки есть, мат.представления. Можно агрегатов и коллапсов наклепать для дашей как раз.
AS
Горизонтально. В КХ. На слабом сервере. В Q1 2021 ожидаем переезда на нормальный кластер в Hadoop.
AS
смотря как лежит, в какой базе, на какой машине
Это был ответ к этому комментарию.
IS
ну CH должен быть норм
AS
Ты CH пошукай получше. У них же движки есть, мат.представления. Можно агрегатов и коллапсов наклепать для дашей как раз.
Мне на это ответили: "У нас только один сервер".
AS
ну CH должен быть норм
Ну это вы мне тут так постоянно отвечаете. А разработчики говорят совсем другое: данных много, сервер один и слабый.
IS
Ну всему есть границы понятно
IS
Промежуточное решение - реально таблицы агрегатов
IS
из которых уже дешборды. Если адовая дискретность не нужна
БА
Могу уточнить вопрос так (в контексте комментария про "прикольные SQL запросы"): если события "как есть" лежат в одной адовой таблице, где каждая строка — сессия, то стоит ли туда соваться для имитации Amplitude, или же такой формат хранения не позволит писать те самые "прикольные запросы"?
Запросы то можно. На том же R ещё веселее будет. Только таблица сплошь из строчек с хитами разных типов состоит.
Складываешь по одной схеме чтобы удобно, быстро и недорого. А для дашей формируешь отдельную систему.
Складываешь по одной схеме чтобы удобно, быстро и недорого. А для дашей формируешь отдельную систему.
AS
Промежуточное решение - реально таблицы агрегатов
Ну вот да. Тоже об этом думаю. Но в МТС мне её никто так и не запилил.
AS
Запросы то можно. На том же R ещё веселее будет. Только таблица сплошь из строчек с хитами разных типов состоит.
Складываешь по одной схеме чтобы удобно, быстро и недорого. А для дашей формируешь отдельную систему.
Складываешь по одной схеме чтобы удобно, быстро и недорого. А для дашей формируешь отдельную систему.
Ну т.е. при текущей структуре (и железе) хранилища соваться не стоит. Понял. Принял. Спасибо.
AS
Недавно, кстати, на Матемаркетинге был доклад про выбор архитектуры аналитического хранилища (типа Инмон vs Кимбалл). Я только концовку посмотрел. Поэтому если у кого есть видео, буду признателен за алишер.
IS
Ну вот да. Тоже об этом думаю. Но в МТС мне её никто так и не запилил.
Слушайте ну вот с ТБ ssd в яндексе под кликаус стоит 40 в месяц
IS
может вам столько и не нужно
AS
Нашему архитектору на заре всего этого дела было сказано: в облако ни-ни.
IS
Мне кажется у вас проблемы не с веб аналитикой и как хранить если честно)
AS
У нас проблемы со всем. Если честно.