Е
А как в udf запрос сделать? Те как получить доступ к сессии
Size: a a a
2020 September 22
DZ
а зачем?
Е
Ну мне нужно чтото посчитать к примеру в юдф. Или обычную функцию использовать?
DZ
посчитать что то замкнувшись на спакрсессию?
Е
Да. Нужно к примеру из хайва чето вытащить и тд.
DZ
Вытащить мету из сесси?
DZ
Какой пример проблемы?
Е
Нужно к примеру фильтрануть датасет функцией а функция в свою очередь лезет в хайв . Чтото считает на основе эээ тих данных и выдает да или нет
DZ
Звучит как сабквери
DZ
Кароч, удф не нужно
DZ
Надо переосмыслить что вы делаете с точки зрения Спарк апи
Н
всем привет, кто-нибудь сталкивался с таким:
при записи из pyspark в parquet некоторые строчки сдвигаются на одну колонку
при записи из pyspark в parquet некоторые строчки сдвигаются на одну колонку
Н
A B C
1 2 3
1 2 3
A B C
1 2 3
"" 1 2
Е
Ясно. Ну есть функция на джаве уже написанная. Внутри нее обращение к сессии. Нужно ее применить к датасету и на ее основе отфильтрлвать его. Функция возвращает будеан
Е
Булеан
Н
причем когда мануально делаю spark-submit через кластер - ок, чеерез аирфлоу тоже самую команду с такими же настройками - не ок
DZ
Ясно. Ну есть функция на джаве уже написанная. Внутри нее обращение к сессии. Нужно ее применить к датасету и на ее основе отфильтрлвать его. Функция возвращает будеан
Давайте код
DZ
Верю что там ад
Е
😁
Е
Ладно спасибо. Я понял что юдф тут не нужно городит