ПФ
для сериализации и десериализации
Size: a a a
2020 April 04
ПФ
представь что ты запускаешь обработку миллирада значений
ПФ
читаешь условно из кафки, пишешь условно в орк
ПФ
тебе же надо данные между нодами перевидывать
ПФ
вот для этого и кодогенерация
GP
ну в теории для этого не надо кодогенить
ПФ
Чтобы всё конвертнуть в UnsafeInternalRow, а потом обратно
ПФ
ну в теории для этого не надо кодогенить
как?
ПФ
Типа джавовая сериализация?
GP
да там патматч тупой гдето стоит и одной функцией конвретит и использует крайо или джава сериализацию
N
ну это да. для сериализации может. хотя непонятно как. он должен найти кодек для преобразования типа
ПФ
да там патматч тупой гдето стоит и одной функцией конвретит и использует крайо или джава сериализацию
только для джава кода. Для скалы — нет
GP
Nikolay
ну это да. для сериализации может. хотя непонятно как. он должен найти кодек для преобразования типа
ну это из контекста выловит
ПФ
Для скалы это работает так:
неименованные туплы — это просто кортеж энкодеров.
для примитивов энкодеры заданы
для кейс-классов длинной больше чем пять уже генерируюсят сериалайзеры
неименованные туплы — это просто кортеж энкодеров.
для примитивов энкодеры заданы
для кейс-классов длинной больше чем пять уже генерируюсят сериалайзеры
ПФ
там аккуратненько читаются тайптеги, разбираются на типы дженериков и так далее и сериализация — это сериализация каждого поля отдельно, а десериализация — это вызов конструктора с аргументами, переданными в правильном порядке
ПФ
Ну а я написал похожу балалайку для котлина, там тоже можно тайптеги если очень хочется )
ПФ
А вот для джавы сериализация работает хуже — только при условии наличия пустого конструктора и сеттера для каждого поля
ПФ
Но да, зато там можно использовать kryo и тогда не надо кодогенерить
GP
там аккуратненько читаются тайптеги, разбираются на типы дженериков и так далее и сериализация — это сериализация каждого поля отдельно, а десериализация — это вызов конструктора с аргументами, переданными в правильном порядке
а что ты под кодогеном подращумеваешь?
ПФ
но кто-то мне когда-то говорил, что это работает медленнее чем наскальная. И я в это в целом верю — в скале мы получаем прямо готовый код декомпилятора бинарных данных, а крио — это дженерик решение