эт да поэтому это не актуально уже

Я слишком молод и только в докладах их видел :)

Крио же не используется обычно. Обычно просто из имплиситов берутся для наследников продукта декодеры .

Ещё описаны специальные случаи для мап, массивов, коллекций, юдфок и опшнала

Крио можно для df, если явно создать имплисит самому

я про датанод трансфер
когда флажочек в конфиге спарка включаешь что хочешь использовать крио

и тыкаешь на регистр со спарко крио кодеками

"spark.kryo.registrator" * зовется

А, ещё для кейс-классов описан специальный случай, оно не всегда как продукт работает

О, кстати, спарковый сериалайзер для скалы не может рекурсивные типы, а мы в некотором плане можем, но можно всё сломать :)

Ну как всё - можно обмануть и получить stackoverflow

для какого случая ? какой пример нужно сделать, чтобы не как для продакт он искался?

Попробуй дженерик класс с 10 аргументами (вероятно не кейс)

Все поля в конструкторе, ясное дело

Сейчас дойду посмотрю

Для некейс классов он не выведет вообще

Ща

Да, это интересный случай. "Стандартными" энкодерами в этот кусок кода не попасть. я про то, что если использовать уже готовые имплиситы из SQLImplicits такие как newProductEncoder. А для всех кейс классов мы "стандартно" попадем в serializerForType все-таки только через newProductEncoder. Т.е другой пути через уже готовые имплиситы для case class туда нет- только через энкодер для наследников Product .А сам serializerForType строит не энкодер, а только его часть - сериалайзер.

Попасть, там есть пример на скале от меня