G
Поможет, если взять count от DF с одной колонкой?
Size: a a a
2021 February 11
NN
Поможет, если взять count от DF с одной колонкой?
Если в колумнарном формате хранится, то, в теории, должно помочь. Не знаю точно, как под капотом count себя ведёт. В любом случае, операция тяжёлая. А количество нужно точное?
G
Да, нужно точно
Еще советуют предварительно сделать cash или persist но я не пойму в чем выгода
Еще советуют предварительно сделать cash или persist но я не пойму в чем выгода
.rdd.persist().count()NN
Да, нужно точно
Еще советуют предварительно сделать cash или persist но я не пойму в чем выгода
Еще советуют предварительно сделать cash или persist но я не пойму в чем выгода
.rdd.persist().count()Если точно, то, честно говоря, не знаю, что тут можно подсказать. В предварительном кэшировании вижу смысл только в случае, если требуется несколько раз это проделывать.
G
Ну вот да. Про предварительный кэш понятно. Лано, надо избавляться от этого как то
А
если приблизительно, то можно было посчитать 1% сэмпле и умножить на 100
NN
если приблизительно, то можно было посчитать 1% сэмпле и умножить на 100
Ну и countApprox ещё есть, правда, я им не пользовался, поэтому не знаю, будет ли какой-то буст. Все таки перегон df в rdd тоже может что-то неочевидно замедлить.
AS
Ну и countApprox ещё есть, правда, я им не пользовался, поэтому не знаю, будет ли какой-то буст. Все таки перегон df в rdd тоже может что-то неочевидно замедлить.
С countApprox как то все не понятно, если поискать по чату, то должно найтись обсуждение его работы (точнее не работы).
G
Что то и rdd
Как хотя бы понять что DF не пустой лайтово
.isEmpty() жудко прожорливый и медленныйКак хотя бы понять что DF не пустой лайтово
G
Интересно, если попробовать
limit(1).rdd.isEmpty()NN
Что то и rdd
Как хотя бы понять что DF не пустой лайтово
.isEmpty() жудко прожорливый и медленныйКак хотя бы понять что DF не пустой лайтово
При конвертации в rdd теряются оптимизации тангстена(или не его, не помню), могут и в таких вещах себя проявлять.
NN
Что то и rdd
Как хотя бы понять что DF не пустой лайтово
.isEmpty() жудко прожорливый и медленныйКак хотя бы понять что DF не пустой лайтово
Поищу, интересно
GP
Что то и rdd
Как хотя бы понять что DF не пустой лайтово
.isEmpty() жудко прожорливый и медленныйКак хотя бы понять что DF не пустой лайтово
да, посмотри на реализацию isEmpty, она медленная
G
Да уже. Блин. А чем тогда проверить DF
GP
Да уже. Блин. А чем тогда проверить DF
ну если у тебя DF то на DFах есть isEmpty тоже
GP
было ж там чтото такое
G
Нев
G
И небыло
