У кафки обычно схемалесс Авро, который уже не совсем Авро вроде бы

Если просто написать df.count()>0?

Это самый худший вариант.

От этого и пытаюсь уйти

Он медленней чем isEmpty?

Да.

Но мне оба варианта не подходят

DF c фильтрами или другими трансформациями, изменяющими количество строк? Или просто чтение файлов?

Не делать так. Во всех случаях работало дольше или фейлилось. Персист только для небольших сложных планов с многократным использованием или, как мне недавно подсказал Григорий, если используются DF.checkpoint

Если это паркет без фильтров, то есть вариант читать футеры и брать из них количество записей, оно там точное. И есть по каждой колонке количество null

Если просто проверить, есть ли хоть одна запись,
def isEmpty(df: DataFrame): Boolean = df.head(1).isEmpty

Если просто попробовать догадаться, прочитает ли DF что-нибудь, можно поискать файлы в читаемых путях, но df сам это делает, когда инферит схему, если файлов нет, то бросит исключение и всё будет понятно

То есть предложение читать футеры паркета и брать инфу оттуда

да, это именно такое предложение))

Так вопрос в том что днные паркета джойнятся со справочником. И вот в результате джойна не понятно - есть данные или нет. Так в результате придется сохранять

Есть джоин - нет простых путей.

результат недетерминированный, сначала нужно полностью выполнить, сэмплы могут давать недостоверные результаты

А разве когда на паркетах без всего просто делаешь каунт, он так не делает? Там же вроде такая логика и есть - читает просто футеры и складывает

пока что не могу этому поверить. RDD как правило читает не файлы полностью, а блоки hdfs, поэтому ему нужно пройтись по итераторам

Но если покажете в исходниках - буду рад это увидеть, хорошая же оптимизация

Если есть джойн — можно попробовать изобрести велосипед с мининимизацией количества данных

селектим только джойн-колонки, дальше на них выполняем джойн и проверяем размер