t
Это не баг, это фича
Size: a a a
2021 May 04
t
t
там все еще веселее
GP
апи ниоч прост над переделывать
t
Есть две версии Datasource API
t
В первой (которая еще со времен первого спарка тянется) нет возможности УБРАТЬ фильтр из плана - то есть его можно запушдаунить, но в плане он как был, так и останется
t
Во второй, на которую уже начали переползать, фильтр убрать можно
t
видимо это делали из расчета, что если в коннекторе кривой код и он криво пушдауны обрабатывает, то спарк все равно затащит и все зафильтрует
t
t
Я вот другого не совсем понимаю - как работает wholestagecodegen, когда в нем чтение какого нибудь датасурса
GP
я думаю ооп корни и избыточный функционал
GP
думали ок оказалось гавно
GP
надо выкидывать старое апи думаю
t
То есть если, например, читануть ластик и сделать .count, то первый HashAggregate будет в WSCG с оператором чтения этого ластика
t
но есть влажный момент
t
Чтение ластика никакого отношения к кодогенерации не имеет)
GP
GP
интересно что будет в спарк 4
t
я так по ошибке сначала думал, что все файл формат ридеры - это кодогенерация
PK
Он умрет и останется только флинк))