Если кому все таки интересно, то все отлично работает и единственное, где более менее описано, как это сетапить и подключать, находится, на удивление, вот тут: https://pypi.org/project/sparkmonitor/

Добрый день. Коллеги, никто не сталкивался с подобной проблемой?
В parquet-файле появились странные файлики, состоящие только из текста "PAR1" ( больше ничего нет).
Сам parquet - external table для hive/impala. Отдельные партиции, в которых этих файликов нет, читаются в impala нормально, те, в которых они есть - валятся с ошибкой - TFetchResultsResp(status=TStatus(errorCode=None, errorMessage='Parquet file <SOME_NAME>snappy.parquet has an invalid file length: 4\n', sqlState='HY000', infoMessages=None, statusCode=3), results=None,
Коллеги утверждают, что проблема появилась после выполнения recover partitions.

Может быть посоветуете какую-то утилиту, которая чистит parquet от невалидных блоков?

PAR1 - это меджик паркета. Походу ты где-то outputstream не закрываешь

Этот меджик находится в начале и в конце вроде ю файла. Перед концом даже для пустого файла должен быть футер с метаинформацией

Так что у тебя гарантированно ломающий спецификацию паркет. Если ты его пишешь каким-то стандартными средствами - значит что-то идёт не так

окей, спасибо. Пишется leqacy-спарковой джобой, с виду без криминала, но буду глубже копать

Я не очень знаю что делает recover partitions

Вроде она только метадату меняет, не трогая сами паркеты, так что эта версия у меня вызывает сомнения

Ну метадата паркетин хранится в них самих, так что...

Народ, одскажите, а как мне двигать папками на HDFS.
Мне надо заменить партиции из одной папки другими. Что то вообще не могу сообразить какой есть для этого инструмент?

hdfs mv?

Можно прямо скрипт на jbang написать в принципе

Любой http клиент и webhdfs?

Hdfs java api?

+ jbang, да

Чтобы не возиться со сборкой проекта и всем вот этим

FileUtil.copy

Можно ещё Спарк джоб написать ))))

А я же правильно понимаю что move выполняется только на неймноде?

У меня ультимативный ответ. Big Data Tools. Аккуратный интерфейс