Size: a a a

2020 May 31

GP

Grigory Pomadchin in Moscow Spark
очень понравился юнит тест мне
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Да, хороший
источник

GP

Grigory Pomadchin in Moscow Spark
жалко что дока не покрываеть кишок а то иногда тяжело до такого спуститься и приходится целиком хай левел апи использовать чтоб ловаить это
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Надо себе забрать функцию checkDataset
источник

GP

Grigory Pomadchin in Moscow Spark
а ты попробовал у себя фикс уже? рил работает?
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
Надо себе забрать функцию checkDataset
+
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а ты попробовал у себя фикс уже? рил работает?
Мне, честно говоря, лень у себя какой-то левый бранч собирать. Но должно работать
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Потому что в котлине немного другой вывод типов, выводится Int?, который в остальных случаях нормально работает
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Сегодня расстроился что не могу сделать датасет из kotlin.Sequence потому что он не Serializable
источник

GP

Grigory Pomadchin in Moscow Spark
в скале с ними тож не все гладко
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Почему?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Вроде toDS на них есть
источник

GP

Grigory Pomadchin in Moscow Spark
помоему изза хвоста кторый они наследуют крио может упасть в бесконечный стек рекурсивный пытаясь понять чо надо сериазовать то
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
Вроде toDS на них есть
ну это уже вроде пофикшено все в спарках
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А откуда там крио?
источник

GP

Grigory Pomadchin in Moscow Spark
а оно падало в рантайме на трансфере между нод мне кажется
источник

GP

Grigory Pomadchin in Moscow Spark
и ошибка выглядит как бесконеный текой стек трейс от крио что он не может (де)сериализовать ничего
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но если у тебя есть нормальный InternalRow - крио не нужен же
источник

GP

Grigory Pomadchin in Moscow Spark
а я про рдд)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Аааа
источник