ПФ
Скоро мы доделаем локальный дебаггер для Спарка и каждый сможет посмотреть как устроен сгенерированный код :)
Size: a a a
2021 February 28
AA
Судя по тому что говорит датабрикс - далее быстрее может быть
Просто в spark the definitive guide они писали
AA
Но я не проверял
ПФ
Тут написана правда для простого случая когда кодген не схлопывает стейджи. А когда схлопывает - оказывается что аллоцируются только объекты из последнего узла холестейджа.
И при этом мы имеем возможность писать очень эффективные функции, которые так просто на df не напишешь
И при этом мы имеем возможность писать очень эффективные функции, которые так просто на df не напишешь
ПФ
Хотя и испоганить просто, конечно
ПФ
Пишешь какой-нибудь паттерн матчинг внутри udf и получаешь бутылочное горло
G
Блин. Теперь начались проблемы с decimal
Ругается сто не может скастить из decimal (38,10) в decimal(38,18)
Ругается сто не может скастить из decimal (38,10) в decimal(38,18)
ПФ
Блин. Теперь начались проблемы с decimal
Ругается сто не может скастить из decimal (38,10) в decimal(38,18)
Ругается сто не может скастить из decimal (38,10) в decimal(38,18)
То есть в типе у тебя написан bigdecimal, а приходит дабл, видимо
G
Да фигня какя то
В описание паркета decimal(38.10)
В описание паркета decimal(38.10)
G
Никаких даблов
ПФ
А в классе какого типа поле?
G
Ну я прописал bigdecimal
ПФ
Блин, ну то есть понятно что именно прикастить, но какого фига?
G
Не понятно на что
G
И вот какого фига - да
DZ
Но я просто не разделяю всеобщей любви к программированию на строках
Дядя, ты чего? Все о них мечтают, но фреймлес не камильфо.
Что в твоём подходе типизированного?
Что в твоём подходе типизированного?
ПФ
Не понятно на что
Ну на createDecimalType(38, 18)
АР
ребзята, а кто-то юзал фреймлесс?
АР
Дядя, ты чего? Все о них мечтают, но фреймлес не камильфо.
Что в твоём подходе типизированного?
Что в твоём подходе типизированного?
Есть подводные камни?