Size: a a a

2020 April 04

ПФ

Паша Финкельштейн... in Moscow Spark
При этом типы выведены правильно, план выглядит нормально вроде бы
источник

GP

Grigory Pomadchin in Moscow Spark
скаловая работает
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
я вижу что мап разный получился
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
скаловая работает
а исходный можешь показать?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
У меня сейчас нет быстро скалы под рукой
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
а исходный можешь показать?
Seq(1, 2, null.asInstanceOf[Int], 3)
 .toDS()
 .map(i => Tuple1(i))
 .debugCodegen()
источник

GP

Grigory Pomadchin in Moscow Spark
я сейчас попробую с таплом2
источник

ПФ

Паша Финкельштейн... in Moscow Spark
ну должно работать корректно тоже
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Любопытно что у тебя оно считает что элементы нон-наллабл
источник

GP

Grigory Pomadchin in Moscow Spark
да
источник

GP

Grigory Pomadchin in Moscow Spark
оно посчитало их ноналбл потому что это ну по факту таплы и правда нон налаблы
источник

ПФ

Паша Финкельштейн... in Moscow Spark
вообще это понятно - там логика такая: если примитив — то нон-наллабл
источник

GP

Grigory Pomadchin in Moscow Spark
ну давай я кастомный определю тип
источник

ПФ

Паша Финкельштейн... in Moscow Spark
не, подожди, на этом шаге это инты
источник

GP

Grigory Pomadchin in Moscow Spark
о
источник

GP

Grigory Pomadchin in Moscow Spark
и правда
источник

GP

Grigory Pomadchin in Moscow Spark
а принтани твою схему еще разок
источник

GP

Grigory Pomadchin in Moscow Spark
мне кажется она разная у нас
источник

GP

Grigory Pomadchin in Moscow Spark
после мапа вместо код ген дебага
источник