AA
Спасибо
Size: a a a
2018 November 22
SK
Anton Alekseev
Спасибо
На здоровье
2018 November 23
PK
Moscow Spark #6 уже совсем скоро, 14 декабря в офисе МегаФона https://moscowspark.timepad.ru/event/860257/
AA
Ребята, подскажите такую манипуляцию как добавить последовательные индексы на куждую строку в спарке оптимально можно сделать только так?: https://forums.databricks.com/questions/8180/how-to-merge-two-data-frames-column-wise-in-apache.html
AA
пример задачи в панде:
>>> df
0 1
0 1 2
1 3 4
2 5 6
3 7 8
4 9 10
>>> df[2] = range(0, df.shape[0])
>>> df
0 1 2
0 1 2 0
1 3 4 1
2 5 6 2
3 7 8 3
4 9 10 4
AA
Джойнить через monotonically_increasing_id() выглядит крайне не безопасно, как по мне
AS
Anton Alekseev
Джойнить через monotonically_increasing_id() выглядит крайне не безопасно, как по мне
там есть присказака что они должны быть одного размера, но даже в этом случае колво партиций может не совпадать и тогда будет бред
AA
там есть присказака что они должны быть одного размера, но даже в этом случае колво партиций может не совпадать и тогда будет бред
вот, да я как раз об этом.
AS
import org.apache.spark.sql.expressions.Window;
df.withColumn("id",row_number().over(Window.orderBy("a column")))
можно так
df.withColumn("id",row_number().over(Window.orderBy("a column")))
можно так
AS
я делал через zipWithIndex, но это не однострочник :)
AA
import org.apache.spark.sql.expressions.Window;
df.withColumn("id",row_number().over(Window.orderBy("a column")))
можно так
df.withColumn("id",row_number().over(Window.orderBy("a column")))
можно так
это java/scala?
AA
окей поищу аналог
AA
для py
R
тоже самое, только импорт окна будет из другого модуля
AA
тоже самое, только импорт окна будет из другого модуля
ок, спасибо.
R
from pyspark.sql.window import Window
R
orderBy("a column") и тут колонку нужную указатьD
Можно сделать через Union+group by