Везде ли есть дата инженеры, которые наклепают витрин?))

Для контекста: спор был про то, должны ли "аналитики", которые ещё вчера сидели в Excel, добывать данные из "прода" "за тот же самый мелкий прайс" (с).

Я по должности BI аналитик. Основная моя работа сейчас: есть сырые события, ты нам сделай витринки для Power BI, а то у нас по сырым что-то всё очень сложно и долго считается)

Мелкий прайс разным бывает

Но вообще кажется, что не должны

Для этого и существуют дата инженеры

но, плот твист, их мало. и ещё меньше толковых)

Это и сам датасайентист может сделать, причем под свои задачи наклепать материализованных представлений поверх реальных данных.

Главное, чтобы в голове у него самого не путались эти два уровня логики - физика и бизнес. Так проще работать

Ну вот и я считаю, что либо "не должны" либо "за другой прайс".

Ну сейчас рыночек порешает, кто кому должен)) Вообще работа по очистке данных - адский труд

А в чем принципиальная разница? Ну больше джоинов? данные менее квадратные

Это в этих ваших кровавых энтерпрайзных ораклах небось всё так просто. А где-то инкрементально через 10 таблиц приходится переливать)))

Ну можно и триггерами все сделать, без mview

Опять энтерпрайзный сленг)) Это я к тому, что везде по разному. И сырые данные могут быть более "сырыми" или менее

Короче, я считаю в целом это все ерунда. Датасайентист должен знать хотя бы тот минимум, как настроить базу данных, перелив данных, агрегацию и ТД. Это все просто и мозга не требует. Основная проблема, на самом деле - это понимать, где математика работает, где матстат рулит и модели на тех же гауссовских распределениях применимы, а где это все как пятая нога собаке.

датаинженер штука такая... вот, допустим, мне надо сделать таблицу для инсталлов.
но проблема в том, что само понятие инсталл очень сложное в моих проектах. и с недавней подлянкой от эппла, еще и меняется.
а есть, например, сложные продуктовые события, типа внутрибоевых статистик. по ним витрины вообще не нужны, так как оно далеко не всегда идет в дашборды, а используется для пост-хок исследований.
и давать тз инженеру на все это - это терять очень много времени либо на детализацию каждого чиха, либо на погружение в предметную область

Кажется, что дата инженер без знаний предметной области не очень-то и нужен. Хотя бы поверхностно надо понимать, какие метрики используются в бизнесе, что за каждым событием стоит. А то так много отличных "витрин" можно наделать)

у меня надо очень много понимать в предметной области, к сожалению. проще аналитика натравить на сырые данные, пусть сам собирает из них и исследования, и агрегаты для дашбордов.

Но с другой стороны, есть сложные предметные области, в которых найти хорошего аналитика будет стоить столько же, сколько зарплата всей команды. А если он и будет, то его грамотность будет на таком уровне, что отличить Винду от никсов не сможет, тем более написать ТЗ по дашбордам. Так что требовать от инженера знать предметную область может оказаться невыполнимой задачей.