Size: a a a

2020 April 04

GP

Grigory Pomadchin in Moscow Spark
Nikolay
Оптимайзер плана- это не отдельная функция. Там даже не один оптимайзер, я бы сказал.
не придирайся
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
Набор функций
источник

GP

Grigory Pomadchin in Moscow Spark
Наверн логика было написать там
источник

GP

Grigory Pomadchin in Moscow Spark
Nikolay
Оптимайзер плана- это не отдельная функция. Там даже не один оптимайзер, я бы сказал.
ну тут видимо толи вововремя коллапса плана случается толи ещё когда то; интересно почему вообще нулабл не нравится ему
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну там джанино, он сам по себе умный ещё
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ща выложу
источник

ПФ

Паша Финкельштейн... in Moscow Spark
java.lang.NullPointerException: Null value appeared in non-nullable field:
top level Product or row object
If the schema is inferred from a Scala tuple/case class, or a Java bean, please try to use scala.Option[_] or other nullable types (e.g. java.lang.Integer instead of int/scala.Int).
 at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.serializefromobject_doConsume_0$(Unknown Source)
 at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.mapelements_doConsume_0$(Unknown Source)
 at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.agg_doAggregateWithKeys_0$(Unknown Source)
 at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIteratorForCodegenStage1.processNext(Unknown Source)
 at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
 at org.apache.spark.sql.execution.WholeStageCodegenExec$$anon$1.hasNext(WholeStageCodegenExec.scala:729)
 at scala.collection.Iterator$$anon$10.hasNext(Iterator.scala:458)
 at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:132)
 at org.apache.spark.shuffle.ShuffleWriteProcessor.write(ShuffleWriteProcessor.scala:59)
 at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:99)
 at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:52)
 at org.apache.spark.scheduler.Task.run(Task.scala:127)
 at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:460)
 at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1377)
 at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:463)
 at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)
 at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
 at java.base/java.lang.Thread.run(Thread.java:834)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я не совсем прям байндинги пишу, я уже написал по сути аналог ScalaReflection, только для котлина :)
источник

GP

Grigory Pomadchin in Moscow Spark
о вон там ж написано; ты пробовал вывести (принтануть) схему для твоего дфа?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
схему умно, ща!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
о вон там ж написано; ты пробовал вывести (принтануть) схему для твоего дфа?
root
|-- a: integer (nullable = true)
|-- b: integer (nullable = false)

это корректный вывод
источник

ПФ

Паша Финкельштейн... in Moscow Spark
то есть там и правда null в поле a
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Могу сгенерированный код отдать )
источник

GP

Grigory Pomadchin in Moscow Spark
а как row выглядит?
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
Могу сгенерированный код отдать )
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну в сгенерированном коде практически открытым текстом написано что если вот тут null — то кидай
источник

ПФ

Паша Финкельштейн... in Moscow Spark
И я не понимаю почему это только при wholestage codegen
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а как row выглядит?
Row — ты что имеешь в виду? Input row?
источник

GP

Grigory Pomadchin in Moscow Spark
да
источник