EC
если есть orderBy кол-во tasks зашкаливает
Size: a a a
2021 January 25
ПФ
А, из питона чтоль?
EC
да, pyspark
EC
spark.dynamicAllocation.maxExecutors не помогает
ПФ
По идее должно быть про порционально количеству экзекьюторов количество тасков?
EC
если cpu per tasks неменял, то да
EC
у меня по дефорлту 1 cpu
EC
т.е. такого в принципе не должно быть
EC
orderBy убрал, maxExecutors заработал 😭
ПФ
А данных на экзекьютор сколько? Может там персист какой-нить и он делает внешнюю сортировкку?
EC
табличка 400G примерно, данные на один ехекутор не больше 18G
ПФ
А памяти на экзекьюторах?
EC
('spark.executor.memory', '18g')
,('spark.driver.memory', '18g')
,('spark.scheduler.mode','FAIR')
,('spark.ui.enabled','false')
,("spark.dynamicAllocation.maxExecutors","80")
,('spark.driver.maxResultSize','60g')
,('spark.driver.memory', '18g')
,('spark.scheduler.mode','FAIR')
,('spark.ui.enabled','false')
,("spark.dynamicAllocation.maxExecutors","80")
,('spark.driver.maxResultSize','60g')
EC
source_df \
.orderBy("CLASS_ID","TIME","ID") \
.coalesce(get_repartition_factor(get_hdfs_directory_size(input_path), 1)) \
.write \
.parquet(tmp_compact_dir, mode='overwrite')
.orderBy("CLASS_ID","TIME","ID") \
.coalesce(get_repartition_factor(get_hdfs_directory_size(input_path), 1)) \
.write \
.parquet(tmp_compact_dir, mode='overwrite')
EC
больше ничего нет
EC
все по дефолту
GP
Eugene Chipizubov
больше ничего нет
Так глянь эксплейн план
GP
У тебя шафл тригернут
GP
чему кстати шафл.партишнс равен?
EC
200