G
Да. Ты прав. Старые жарн ки были. Сейчас все гуд. Спасибо друг
Size: a a a
2020 July 15
K
в хдфс хранить джарники тож норм
G
в хдфс хранить джарники тож норм
Ну идея с репозиторием мне очень понравилась.
G
Отпадает необходимость актуализировать и следить за актуальностью этих жарников на хдфс
G
Учитывая то что эти жарники все равно через репо гонятся
K
ну ci/cd процесс никто не отменяет , да
K
мы докер запускаем содержащий все джарники
G
Ну согласен, только CI/CD слегка упрощается
t
народ, а у кого нибудь получалось в 2.4.5 выключать CollapseProject ?
t
(что-то он не хочет выключаться через опцию)
GP
(что-то он не хочет выключаться через опцию)
а ты то сетишь? там помоему те нужна org.apache.spark.sql.internal.SQLConf.WHOLESTAGE_CODEGEN_ENABLED
GP
вдруг она у тя какаят другая
GP
там былодве разные и я не понмю какая работает
t
ну допустим у тя есть тяжелая UDF, которая возвращает структуру:
df.select(someUdf(input).alais("foo")).select('foo("moo"), 'foo("zoo")).show()
df.select(someUdf(input).alais("foo")).select('foo("moo"), 'foo("zoo")).show()
t
и вот здесь UDF (на моих тестах) вызывается два раза
t
и я подозреваю, что это все проделки CollapseProject
M
t
а закешировать результат перед дальнейшими действиями?
ну пжи
t
это костыль
t
)