DZ
да он прост сам этот код и написал
Не, не. У меня хайва никогда не было
Size: a a a
2020 September 22
t
Ну попробуй замкнутся на сс
PS. не даст
DZ
Чтд
PK
PS. не даст
Даже если б дал, непонятно как это должно работать на экзекьюторе
Е
да он прост сам этот код и написал
Код уже был написан. Там типа сложного алгоритма расчета и я поменял вызовы оракла на хайв. Функцию переписать нереально . Данные в ней нужно брать из хайва. Нужно каким то макаром ее на датасет натравить и отфильтровать его. Проблема что на эксекьютере сессия не доступна
Е
Те хайв в функции этой не дернуть
DZ
Те хайв в функции этой не дернуть
Можно, но не через Спарк сессию
AS
Смена БД не значит что логика запросов может остаться преждней. Адаптируй запросы под текущую БД. И любую функцию переписать реально, вопрос про желание/время/время/деньги.
DZ
Можно, но не через Спарк сессию
Через ждбс например
Е
Ясно. Спасибо всем
DZ
Кароч твой варик сходить ждбс
DZ
Но ток коннект надо шарить
DZ
И запускать на экзекуторе
DZ
Это либо mapPartition
DZ
Либо lazy val
GP
Либо lazy val
транзиентный?
DZ
А тож
А
Если там 1 и тотже запрос с разными фильтрами, то может поможет материализовать его в виде spark df и из udf обращаться к df
Sa
А вдруг там коллектятся большие данные) На коллекте не летят исключения?
DZ
Если там 1 и тотже запрос с разными фильтрами, то может поможет материализовать его в виде spark df и из udf обращаться к df
Материализовать в дф?