e
Вообще это нормальная история работать с df например в 200 колонок ?
Size: a a a
2020 December 24
ПФ
Вообще это нормальная история работать с df например в 200 колонок ?
Не вижу принципиальных проблем
АЖ
можно и в 2000
ПФ
Но мне кажется что Спарк не для этого. Правда
ПФ
Спарк чтобы трубы прокладывать. Ну вот для ml ещё сделали
ПФ
Но для кубов есть специализированные инструменты
АЖ
а, это про кубы
АЖ
не надо это делать в спарке
АЖ
потом будете говорить, что спарк адское говно
ПФ
Просто кубы вообще не похожи на etl. Они требуют другого типа обработки вообще
ИК
Только слышал, но может стоит посмотреть Kylin? В описании значатся кубы на спарке, пару раз в чатике его упоминали
ПФ
Только слышал, но может стоит посмотреть Kylin? В описании значатся кубы на спарке, пару раз в чатике его упоминали
Ну там Спарк только одна из технологий. Ещё там кальцит, аллуксио и множество другого
AS
Только слышал, но может стоит посмотреть Kylin? В описании значатся кубы на спарке, пару раз в чатике его упоминали
если уже есть свой хадуп, хбайз, то вполне себе нормальное решение (я правда для кубов только его и использовал, может есть и лучше)
ПФ
Только слышал, но может стоит посмотреть Kylin? В описании значатся кубы на спарке, пару раз в чатике его упоминали
Кубы там в hbase, кстати
ИК
Всем спасибо! Это я так посоветовать хотел)) @essbase , Вам
ИК
Кубы там в hbase, кстати
А вот это может и печально, hbase в проде конкретно у нас не очень любят((
ПФ
А вот это может и печально, hbase в проде конкретно у нас не очень любят((
В ламоде вроде работал норм
ИК
много где работает норм ^^ , у нас почему-то нишевое решение, считается дорогим по сравнению с hdfs + compute
e
Ну это задача не совсем про кубы. Это просто большая числомолотилка по сторнированию , начислению и аллокациям. Логика достаточно линейная.
e
Просто финансовых индикаторов много, *не просто кол-во посетителей*