я конечно кэп, но может тогда зафиксировать кол-во строк через where?

Возможно опция pathGlobFilter поможет

Из скаладока:

* `pathGlobFilter`: an optional glob pattern to only include files with paths matching 
               the pattern. The syntax follows org.apache.hadoop.fs.GlobFilter. 
               It does not change the behavior of partition discovery.

Но будет интересно узнать результат!

Мда

Альтернативно можно самому собрать список нужных файлов/префиксов и передать его в .load

можно посмотреть что сурс делает во время лоада и свой дата сорс сделать который переопределит логику; да

Это возможно тоже. Но я говорю про то, что .load принимает список файлов/префиксов для загрузки, поэтому не обязательно передавать туда только корневой префикс.

В старых версиях если списком передавать большим то вроде как сильно медленней становится

Не помню сходу номер тикита в спарковской джире

А, да, ЕМНИП какие-то проблемы с этим были, потому что листинг был не распараллелен, но это вроде исправлено в 3.0.0 или даже раньше. На предыдущих версиях можно распараллелить самому в разные датафреймы и потом объединить их

А можно пример датасета и структуры партиций?, мне что то интересно стало.

ну данные не релевантны, а структура примерно такая:

<table-warehouse>/business_date=<date>/version_id=<some_number>/some_business_partition=foo/...

Смысл в том что иногда сорс система для некоторых бизнес дней перезагружает данные с баг фиксами или чем-то еще, и генерируется новая версия чтобы чуть что можно было откатиться на старую, также отдельно лежит небольшая референс таблица которая имеет маппинг актуальной версии к бизнес дате

Понятно, один из вариантов использовать hdfs snapshot. Если у вас hdfs конечно

delta, iceberg

Короче без метаданных на уровне таблицы не обойтись

А кастомному partition discovery тоже откуда то надо будет знать какие версии брать

Так Спарк же патриции сам находит через обычный ls warehouse

(условно)

Если не возражаете, продолжу фантазию, на уровне fs можно скрытым партициям к имени партиции слева добавить точку ) Но это совсем уже костыль, зато шустро будет