RD
слышал в третьем спарке завезли уже
Студентам когда показывал Spark. Им зашла связка Databricks + Python + Koalas. Сильно ускорило процесс вхождения. Pandas многие знают.
Size: a a a
2020 December 16
АЖ
Студентам когда показывал Spark. Им зашла связка Databricks + Python + Koalas. Сильно ускорило процесс вхождения. Pandas многие знают.
Это кажущаяся простота, которая потом больно бьет или по кошельку, или по инженерам
RD
Это кажущаяся простота, которая потом больно бьет или по кошельку, или по инженерам
Полностью согласен.
AA
Это кажущаяся простота, которая потом больно бьет или по кошельку, или по инженерам
Это небось из той же оперы что import dask as pd, т.е. нифига не совместимо? Или из-за того что не понимают что там под капотом?
АЖ
Anton Alekseev
Это небось из той же оперы что import dask as pd, т.е. нифига не совместимо? Или из-за того что не понимают что там под капотом?
ну там никакой магии нет, там createDataFrame() и toPandas() FTW и немного сахара вокруг этого
PK
Может быть Koalas - это как раз хитрый ход датабрикс. Штат текущих аналитиков и датасатанистов сохраняется, а дата инжей на поддержку и оптимизацию коаласа нужно больше ))
АЖ
Может быть Koalas - это как раз хитрый ход датабрикс. Штат текущих аналитиков и датасатанистов сохраняется, а дата инжей на поддержку и оптимизацию коаласа нужно больше ))
Ну или нужно больше минералов на датабрикс :)
А
Подскажите, почему в agg нельзя писать просто list:_* , как в остальных функциях?
df.groupBy(gr_cols:_*).agg(agg_cols: _*)Приходится извращаться с
sku_df.groupBy(gr_cols:_*).agg(agg_cols.head, agg_cols.tail: _*)
ПФ
Подскажите, почему в agg нельзя писать просто list:_* , как в остальных функциях?
df.groupBy(gr_cols:_*).agg(agg_cols: _*)Приходится извращаться с
sku_df.groupBy(gr_cols:_*).agg(agg_cols.head, agg_cols.tail: _*)
а какая сигнатура у agg?
А
хочется понять почему везде можно, а тут нет. Понять, что было в голове у человека, который это выдумывал)
ПФ
хочется понять почему везде можно, а тут нет. Понять, что было в голове у человека, который это выдумывал)
Чтобы ты не мог туда пустой список запихать вестимо
А
Чтобы ты не мог туда пустой список запихать вестимо
хз, поидее запрос может быть только с группировкой без агрегирующих функций
ПФ
хз, поидее запрос может быть только с группировкой без агрегирующих функций
Ну в версии 2.0.0 появилось нормальное апи )
ПФ
ds.groupBy().agg(Map("age" -> "max", "salary" -> "avg"))ПФ
Но на самом деле вопрос интересный
А
Ну в версии 2.0.0 появилось нормальное апи )
я начал сразу делать через лист функций. Такую функцию тоже можно передлать на мапу?
sum(sum($"amount")).over( Window.partitionBy( win_cols:_* )).as("amount_subcat")ПФ
Ох, вот этого не знаю, конечно
ПФ
(никогда не любил нетипизированное апи)
А
ну ладно, воспользовался воркэраундом agg_cols.head, agg_cols.tail: _* , но причина такой сигнатуры функции для меня остается загадкой