ПФ
.debug?
Size: a a a
2020 April 04
GP
.explain
ПФ
== Physical Plan ==
*(1) SerializeFromObject [assertnotnull(input[0, org.jetbrains.spark.api.examples.Arity1, true]).getA.intValue AS a#19]
+- *(1) MapElements org.jetbrains.spark.api.examples.MapAndListOperationsKt$inlined$sam$i$org_apache_spark_api_java_function_MapFunction$0@7c59cf66, obj#18: org.jetbrains.spark.api.examples.Arity1
+- *(1) DeserializeToObject staticinvoke(class java.lang.Integer, ObjectType(class java.lang.Integer), valueOf, value#13, true, false), obj#17: java.lang.Integer
+- *(1) LocalTableScan [value#13]
20/04/04 14:22:01 INFO CodeGenerator: Code generated in 43.771418 ms
Found 1 WholeStageCodegen subtrees.
== Subtree 1 / 1 (maxMethodCodeSize:145; maxConstantPoolSize:167(0.25% used); numInnerClasses:0) ==
*(1) SerializeFromObject [assertnotnull(input[0, org.jetbrains.spark.api.examples.Arity1, true]).getA.intValue AS a#19]
+- *(1) MapElements org.jetbrains.spark.api.examples.MapAndListOperationsKt$inlined$sam$i$org_apache_spark_api_java_function_MapFunction$0@7c59cf66, obj#18: org.jetbrains.spark.api.examples.Arity1
+- *(1) DeserializeToObject staticinvoke(class java.lang.Integer, ObjectType(class java.lang.Integer), valueOf, value#13, true, false), obj#17: java.lang.Integer
+- *(1) LocalTableScan [value#13]
GP
dsOf(1, null, 2, 3)
.map { c(it) }
.debugCodegen()
.show()
минимальный воспроизводимый пример
а что такое c(it) ?
ПФ
создание кортежа из одного элемента
ПФ
В котлине нет неименованных кортежей, но я сделал )
ПФ
просто дата класс с одним полем
ПФ
ну собственно в плане и в сгенерённом коде видно что создаётся Arity1 )
ПФ
сигнатура вот такая:
data class Arity1<A>(val a: A)
ПФ
При этом если создавать DS сразу из кортежей — то всё работает конечно
dsOf(c(1), c(null),c(2))
GP
А нет способа посмотреть генерируемый код когда wholestage codegen выключен? Или оно тогда вообще е обязано код генерировать?
нету, без хол кодгена он итеративно выполняет план
ПФ
нету, без хол кодгена он итеративно выполняет план
но где-то в кишочках у него всё равно должна джава генерироваться
ПФ
каталист же так работает )
GP
генерится да; над смотреть
GP
N
без кодогенерации код не генерится. он вызывает функции. одна из другой. зачем ему джава код без кодегена?
ПФ
Nikolay
без кодогенерации код не генерится. он вызывает функции. одна из другой. зачем ему джава код без кодегена?
Ну там же не совсем без кодгена, там без холстейджа
ПФ
совсем кодген нельзя выключить
N
а какой код он тогда генерит . для чего?