Дф это вот совсем не материализованное что-то

нельзя будет заменить вызов внутри udf:
spark.sql("select * from hive where id = ?")
на:
val df = spark.sql("select * from hive").persist()
udf(df)
df.filter("id"===1)
?

или df нельзя передавать параметром?

Ты придумал джоин

ну человек пишет, что не может переделать удф в полной мере, конечно лучше было бы джойн

но, чтобы не дергать хайв отдельными запросами и не плодить подключения, которые медленные

Чтобы не плодить, надо сделать как я написал выше

Я же правильно понял, что предлагается в map функции поднять новую спарксессию на экзекьюторе и через нее уже шухер делать в udf? (интереса ради)

Нет конечно

Сессия - это синглтон

не надо так делать ток; оно и не сработает и не стоит

А, это контекст синглтон, соррян

Всем привет!

Поясните такую ситуацию: spark 2.2 записывает датафрейм в паркет в HDFS с партиционирование по одному из полей.

Затем это же приложение начинает обрабатывать записанный датафрейм по партициям, читая каждую отдельно. Но иногда (не всегда) падает с ошибкой, потому что через некоторое время не может найти файл. Файлы в партициях есть, но UUID в их названиях не такой, как spark ожидает. Время создания файлов - намного позже, чем они были записаны изначально, по есть, в логе запись об окончании первого этапа в 5:00, файл записан в 6:00,а падение произошло в 6:30.

После перезапуска все норм, воспроизвести ошибку под контролем не удаётся.

Возможно ли, что UUID был изменен самим спарком в том же приложении? И как это предотвратить?

Moscow Spark #10 быть! https://moscowspark.timepad.ru/event/1440202/

Done

Друзья, мне начали приходить письма про ссылку на участие. Ссылу на зум для первых 100 регистраций, ссылку на YouTube-трансляцию и ссылку на spatial chat вышлю во вторник или среду

Топ10 первых зареганных опубликуешь?)

Нет канеш, там звёзды шоу бизнеса встречаются )