G
У меня есть два варианта: нормальный типизированный джойн или df.col
Это что?
Size: a a a
2021 February 28
ПФ
Почему не пользоваться типизированными джойнами я вообще не понимаю
G
Что значит таиахарованный. Алиасы прописать?
G
Алиас к таблице при джойне
ПФ
ПФ
На выходе из джойна у тебя будет
Dataset[case class 1, case class 2]
Dataset[case class 1, case class 2]
ПФ
Но я просто не разделяю всеобщей любви к программированию на строках
G
👍
G
Но я просто не разделяю всеобщей любви к программированию на строках
Не понял отчем речь
ПФ
Почему-то большая часть кода на спарке, который мне видно - это работа с нетипизированным api, а не с классами
NN
Почему-то большая часть кода на спарке, который мне видно - это работа с нетипизированным api, а не с классами
Ну это, наверное, не в пуспарке
ПФ
Переслано от Паша Финкельштейн...
Но вот если надо на строках - обращайся по dfname.col
G
А если у меня добавятся/удалятся поля в df я д получу фиг
G
В смысле если в паркетниках начнут мне поля миксовать
ПФ
Я этот называю "получишь детерминированное поведение и фейл до того как поломаешь таргет"
G
Ну иногда это не савсем фейл. Добавили поля, ну и черт с ними. Как читал то что мне надо так и читаю
ПФ
Причём для этого достаточно перед переводом в датасет сделать селект
ПФ
Ну да, делаешь селект перед as и у тебя продолжает всё корректно работать
A
С as нужно быть очень аккуратным, так как если мне не изменят память то он только вью создаёт на указанный дата класс, но под капотом продолжает таскать все что было
У нас так делали выбор на 50+ полей, потом as с 2 полями и потом удивлялись откуда в шафле потом 100+гб
У нас так делали выбор на 50+ полей, потом as с 2 полями и потом удивлялись откуда в шафле потом 100+гб
ПФ
А вот если что-то поломают в этих полях ты об этом быстро узнаешь