G
Это ж 3.0.1. У меня пока 2.4.5
Size: a a a
2021 February 11
NN
Да уже. Блин. А чем тогда проверить DF
Ну проверяй тогда наличие хотя бы одной строки, без конверта в rdd
G
.limit(1).collect().isEmpty ?GP
Это ж 3.0.1. У меня пока 2.4.5
@since 2.4.0NN
Ну проверяй тогда наличие хотя бы одной строки, без конверта в rdd
А в 2.4 нет у датасетов разве isEmpty?
GP
.limit(1).collect().isEmpty ?тогда уж take(1)
GP
если ты глянешь в реализацию isEmpty RDD она самым оптимальным способам реализована
GP
вопрос только датасетовый быстрее будет или нет
GP
мне кажется нет
GP
у тебя в любом случае проверка ветвится - или нет партиций или в первой партиции нет элементов
NN
мне кажется нет
Читал ругательные комментарии насчёт него на стековерфлоу)
GP
Читал ругательные комментарии насчёт него на стековерфлоу)
не читал)
GP
ну наверняка одинаково работают
GP
а ну смотри
GP
def isEmpty: Boolean = withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
plan.executeCollect().head.getLong(0) == 0
}
plan.executeCollect().head.getLong(0) == 0
}
GP
@3.0.1
def isEmpty: Boolean = withAction("isEmpty", select().queryExecution) { plan =>
plan.executeTake(1).isEmpty
}
def isEmpty: Boolean = withAction("isEmpty", select().queryExecution) { plan =>
plan.executeTake(1).isEmpty
}
GP
ну короче быстрее не сделаете
АА
Если у тебя есть статически возрастающий не наловый id, то взять можно взять максимальный-минимальный. Но вот с точки зоения производительности хз, нужно сначала отсортировать набор данных🤔
АА
С countApprox как то все не понятно, если поискать по чату, то должно найтись обсуждение его работы (точнее не работы).
Не просто не очевидно, а очень заметно замедлит. По крайней мере так говорит карау.
+ сам проверял если ты неявно преобразуешь df к rdd во время фильтрации:
Df.filter( col(x) == 2) - здесь работает все как dataframe
Df.filter(_ ==2 ) - неявно преобразование к rdd
Производительность падает примерно в 2-3 раза в зависимости от консистентности данных
+ сам проверял если ты неявно преобразуешь df к rdd во время фильтрации:
Df.filter( col(x) == 2) - здесь работает все как dataframe
Df.filter(_ ==2 ) - неявно преобразование к rdd
Производительность падает примерно в 2-3 раза в зависимости от консистентности данных