Size: a a a

2020 April 04

ПФ

Паша Финкельштейн... in Moscow Spark
Так это, он же не типизированный
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну на вход туда приходят наллабл инты
источник

ПФ

Паша Финкельштейн... in Moscow Spark
        dsOf(mapOf(1 to c(1, null, 3), 2 to c(1, 2, 3)), mapOf(3 to c(1, 2, 3), 4 to c(1, 2, 3)))
               .flatMap { it.toList().map { p -> listOf(p.first, p.second.a, p.second.b, p.second.c) }.iterator() }
               .flatten()
               .map { c(it, 1) }
               .also {it.printSchema()}
               .distinct()
               .sort("b")
//                .debugCodegen()
               .show()
источник

GP

Grigory Pomadchin in Moscow Spark
а т.е. ты уже код принтанул и там явно бросает он
источник

ПФ

Паша Финкельштейн... in Moscow Spark
если выкинуть маппинг в кортеж it(c, 1) — всё работает корректно
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а т.е. ты уже код принтанул и там явно бросает он
да
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Я пока писал этот рефлекшн столько говна нажрался, что теперь в код первым делом смотрю. Я его даж немного научился понимать )
источник

ПФ

Паша Финкельштейн... in Moscow Spark
и вот засада именно в этом маппинге, почему-то он работает некорректно
источник

GP

Grigory Pomadchin in Moscow Spark
а какой после мэпа этого тип должен быть
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Arity2<Int?, Int>
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Arity2 — просто неименованный кортеж
источник

GP

Grigory Pomadchin in Moscow Spark
а если руками схему прилепить что оба элемента нулабл?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Падает, кажется, на первом, но сейчас оппробую
источник

GP

Grigory Pomadchin in Moscow Spark
покажи код который сгенерился и бросает интересно)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
покажи код который сгенерился и бросает интересно)
ща
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а если руками схему прилепить что оба элемента нулабл?
не спасло. Схема поменялась, но всё равно падает
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
покажи код который сгенерился и бросает интересно)
источник

GP

Grigory Pomadchin in Moscow Spark
Слушай а нулабл со строками прокатит?
источник

GP

Grigory Pomadchin in Moscow Spark
для интереса если не с примитивами попробуешь
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
Слушай а нулабл со строками прокатит?
интересно, ща попробую
источник