Sa
добрый день
хочу записать спарком датафрейм чтобы было 300 партиций
а он сохраняет 37
как фиксить?
хочу записать спарком датафрейм чтобы было 300 партиций
(
spark
.table('db.table1')
.repartition(300)
.write
.saveAsTable('db.table2', mode='overwrite')
)
spark.table('db.table2').rdd.getNumPartitions() # 37
а он сохраняет 37
как фиксить?
partitionBy после write?
