IS
Звучит как фильтрация над csv?
Т.е. он накинет предикат уже после чтения csv
Т.е. он накинет предикат уже после чтения csv
Size: a a a
2021 May 04
ПФ
Ааа, ну слава богу
NN
Мне кажется, что со строковыми форматами невозможно в принципе без предварительной конвертации в колумнарный.)
t
вероятно ничего, просто у них общая читалка всех файл форматов, поэтому PredicatePushdown есть, а по факту он не делается
GP
вот бы csv стримом читали и фильтровали на ходу
t
package
...
class
...
override def
Вот эта функция генерит читалку для CSV. Если посмотреть исходники, то переменная filters там никак не используется
org.apache.spark.sql.execution.datasources.csv...
class
CSVFileFormat extends TextBasedFileFormat with DataSourceRegister {...
override def
buildReader(
sparkSession: SparkSession,
dataSchema: StructType,
partitionSchema: StructType,
requiredSchema: StructType,
filters: Seq[Filter],
options: Map[String, String],
hadoopConf: Configuration): (PartitionedFile) => Iterator[InternalRow]Вот эта функция генерит читалку для CSV. Если посмотреть исходники, то переменная filters там никак не используется
t
А вот, например, в читалке паркетов используется
IS
Какой-то выстрел в ногу
IS
Если не подумать, то ты ожидаешь фильтра, указываешь его, и садишься в лужу
GP
в колено
t
не, сам фильтр то отработает
t
просто он будет работать как физический оператор Filter через кодогенерацию
IS
А, тогда все окей
t
а не как PredicatePushdown)
IS
Тогда это более, чем ожидаемое поведение
PK
Господи, надо посмотреть есть ли на этот счёт бага в джире. А то люди ведь смотрят в план, видят пушдаун, а про формат могут и не подумать
GP
не вижу бага вижу фичу
