Size: a a a

2020 April 04

ПФ

Паша Финкельштейн... in Moscow Spark
Nikolay
тогда он не должен тут падать. дело возможно в другом
конечно в другом — оно падает на проверке того что какое-то поле не налл. При этом пытаемся прочитать его по первому индексу
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Надеюсь что после того как я доделаю этот проект — я буду главным мастером по кодогенерации спарка )))
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
значит надо поймать где экспрешн не такой
я ставил бряк на NullPointerException и конечно же он вылетает ровно в этом месте
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Nikolay
private void serializefromobject_doConsume_0(org.jetbrains.spark.api.examples.Arity1 serializefromobject_expr_0_0, boolean serializefromobject_exprIsNull_0_0) throws java.io.IOException {
/* 086 */     if (serializefromobject_exprIsNull_0_0) {
/* 087 */       throw new NullPointerException(((java.lang.String) references[2] /* errMsg */));
/* 088 */     }
оно, да
источник

N

Nikolay in Moscow Spark
Посмотри на строку 81 в сгенерировано коде. Это не оно ?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Nikolay
Посмотри на строку 81 в сгенерировано коде. Это не оно ?
источник

N

Nikolay in Moscow Spark
Тогда 86
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Nikolay
Тогда 86
оно конечно
источник

ПФ

Паша Финкельштейн... in Moscow Spark
по стектрейсу же понятно )
источник

GP

Grigory Pomadchin in Moscow Spark
давай сча такое попробуем
источник

ПФ

Паша Финкельштейн... in Moscow Spark
смотрим как туда попадает serializefromobject_exprIsNull_0_0.
Это mapelements_isNull_1 из mapelements_doConsume_0
Он — это mapelements_resultIsNull_0 из того же метода
А он в свою очередь — mapelements_exprIsNull_0_0, который приходит аргументом
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
давай сча такое попробуем
ты говори, у меня тут пока новый спарк собирается
источник

GP

Grigory Pomadchin in Moscow Spark
да я пытаюсь короче приумать как это локализовать
источник

GP

Grigory Pomadchin in Moscow Spark
дело в том что такую ошибку может кинуть тока эксрешн анкодер
источник

GP

Grigory Pomadchin in Moscow Spark
ExpressionEncoder который
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Если подебажить глазами - то видно что тот самый фолс, порлетающий насквозь, может появиться только в одном месте:
/* 130 */       boolean localtablescan_isNull_0 = localtablescan_row_0.isNullAt(0);
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
дело в том что такую ошибку может кинуть тока эксрешн анкодер
так мало того что энкодер, вот, конкретная же NPE
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
да я думаю о том как локализовать проблему)
источник

GP

Grigory Pomadchin in Moscow Spark
ну каждый раз ранить в контекст спарка чтоб нагенерить код
источник