GP
на скок я помню там просто кодеки скаловые грубо гвооря выводятся экспрешн анкодером
Size: a a a
2020 April 04
ПФ
а что ты под кодогеном подращумеваешь?
ну так буквально генерируется джава код из экспрешнов, потом этот дава-код шаблонами сшивается в один файлик. потом компилируется с помощью apache janino
GP
покажи о чем ты
ПФ
Но вероятно это только для wholestage?
GP
ну тип хол стейдж генерит код для стейджов
GP
у тебя нода плана будет запуск кода
GP
поэтому ммм ну кодген в спаркх есть в разных местах но для плана его не будет
GP
там нечего будет напечатать
ПФ
Вероятно да
GP
там тип када план печатаешь, те ноды что помечены звездочками - для них сгенерился код
ПФ
Но код-то всё равно должен генерироваться. тот же серде — ну должен где-то генерироваться
ПФ
Во, ключевой узел — это Expression#genCode
ПФ
Если я правильно понимаю нет опции через него не пройти
GP
Если я правильно понимаю нет опции через него не пройти
а ты посмотри чо он там генерит
ПФ
Да, уже в процессе
GP
если ты хочешь логинг включить там то можешь включить логгер org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator
ПФ
Но ток что проверил — точно туда попадаем
GP
dsOf(1, null, 2, 3)
.map { c(it) }
.debugCodegen()
.show()
минимальный воспроизводимый пример
а вот этот код у тебя тупо падает?
ПФ
а вот этот код у тебя тупо падает?
ну вот с NPE
ПФ
в сгенерированном коде, как и ожидается