Size: a a a

2020 May 27

GP

Grigory Pomadchin in Moscow Spark
нету
источник

GP

Grigory Pomadchin in Moscow Spark
источник

GP

Grigory Pomadchin in Moscow Spark
смысл семантический другой
источник

ПФ

Паша Финкельштейн... in Moscow Spark
а как None энкодится? ))
источник

ПФ

Паша Финкельштейн... in Moscow Spark
вот пишу я, значит,  orc
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
а как None энкодится? ))
отсутсивем; чтоб кодеки были счастливы оно Option.empty[T]
источник

ПФ

Паша Финкельштейн... in Moscow Spark
и он пишется как null!
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
и он пишется как null!
ну эт уже реализция налаблов
источник

GP

Grigory Pomadchin in Moscow Spark
в ранатйме то налов нет
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Как тебе такое:
        dsOf(1, null, 2)
               .filterNotNull()
               .map { c(it) }
               .also { it.printSchema() }
               .debugCodegen()
               .debug()
               .show()

?
источник

GP

Grigory Pomadchin in Moscow Spark
плохо
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Теперь у меня апи круче чем у скалы потому что это работающий код )))
источник

GP

Grigory Pomadchin in Moscow Spark
все же подумай над тем, что бы корректные датасеты делать
источник

GP

Grigory Pomadchin in Moscow Spark
фильтровать дороже чем на чтении нормально составлять дс
источник

ПФ

Паша Финкельштейн... in Moscow Spark
ну я ж не могу юзеру сказать как делать датасеты
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Причём это же вырождаенный случай, а может быть так, что он работает с каким-нить датафреймом, потом схлопывает его до одной оклонки и там где-то null оказывается
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А он на нём выполняет .as[java.lang.Integer] и типа всё, приехали
источник

AS

Andrey Smirnov in Moscow Spark
Паша Финкельштейн
Причём это же вырождаенный случай, а может быть так, что он работает с каким-нить датафреймом, потом схлопывает его до одной оклонки и там где-то null оказывается
пока не схлопнул у колонки есть тип
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Да, например ObjectType
источник

AS

Andrey Smirnov in Moscow Spark
тут же не понятно какой тип у null, это String или java.lang.Integer
источник