а это как отдельный дистр будет или законтрибутят в кор?

Выглядит как плагин, просто два джарника закидываешь

👍

мы щас ведем неравную барьбу с этим багом  в даске думаю  попробуем залить в master

Обидно, что внутри

Все будет

Привет всем, вопрос, как при сохранение df, сохранить партиционирование, которое было у исходного df?

Для всех встроенных форматов сохраняется столько партиций, сколько было

возможно он про partitionBy

сохранить исходный партишионер, и потом его применить для результирующего

это в разных тасках происходит, так что его не сохранить

ну я сохряняю исходный паркет с partitionBy

Всем привет. такой вопрос.
Есть несколько спарк джоб, которые работают параллельно и append пишут в одну и ту же табличку командой.

df.repartition(200, partitioned_by)
.write.format('orc').partitionBy(partitioned_by).mode('append').saveAsTable(адрес таблицы)

Каждая джоба пишет непересекающиеся партиции. эти партиции в большой таблице изначально отсутствуют

Обычно джоба которая завершает последней летит с ошибкой
j```ava.io.FileNotFoundException: File hdfs://bigdata/apps/hive/warehouse/011_001_0001.db/previous_changes_1/_temporary/0/task_20200520153305_0039_m_000077 does not exist.
```hive, spark 2.3

я бы попробовал записывать результаты не параллельно, а поочереди

Задача писать именно параллельно

пытаться обновлять один и тотже фаил параллельно -> звучит сомнительно.

Да, звучит сомнительно, можно считать что у тебя сомнительное ограничение на задачу

если писать в разные партиции, то по идее не должно пересекаться по файлам

мб одна временная хрень, перезаписала другую временную хрень