да

первый процесс работает через метастор (т.е. с таблицами) или напрямую в файлы?

Если читать такое спарком будет такая же ошибка

Чудес не бывает

через ('/apps/hive/warehouse'

нет, так как это то что у нас есть, только в разы больших масштабах =)

все же - .saveAsTable() или .save()?

saveAsTable

Ну значит вы читаете файлы, а не таблички

И в метастор не ходите

прям интересно стало, хочется проверить 😊, дурацкий вопрос - версия спарк какая?

2.3.1

Я не вам отвечал

правильно я понял: беру какой-то объем данных, пишу их спарком saveAsTable(), параллельно другим спарком читаю read.table() или sql() и получаю ошибку (как Вы написали)?

да

ходим в метастор, всё в хайве

правда в отличии от стандартного метастора структура
/hive/metastore/table/partition1/partition2/__versionN__/files.parquet

versionN чисто наша синтетика
при чтении конечно запрашивается (table,partition1,partition2)

запись конечно проходит не через .saveAsTable, а через свой лоадер

он создаёт новый фолдер с versionN+1
заливает туда данные
пытается по CAS поменять куда указывает (table,partition1,partition2)

старые версии периодически чистятся

это позволяет избежать проблем когда из спарка джоба уже запущена, но кто-то начинает вливать новые данные

работает с hive/spark/impala
правда импалу нужно инвалидировать периодически метаданную, чтобы увидела новые версии


понимаем что на опенсорс тулы нужно уходить, тот же айсберг или худи
но пока импала всё стопорит

А можно как-то внятно процесс описать? Кто на ком стоит?

правильно я понял: беру какой-то объем данных, пишу их спарком saveAsTable(), параллельно другим спарком читаю read.table() или sql() и получаю ошибку (как Вы написали)?

@fall_out_bug вот тут описано

странно ожидать что это будет работать стабильно