ЕГ
Чтобы сохранить сортировку при долётах)
Size: a a a
2021 April 01
NN
Евгений Глотов
Лучше вот как раз напилить оверврайт аппенд)
Ну или так)
NN
Евгений Глотов
Лучше вот как раз напилить оверврайт аппенд)
Хотя, видишь, тот же худи умеет в апдейты файлов. Мб и дельта та же умеет сейчас, и проще будет что-то из этого заюзать
N
Хотя, видишь, тот же худи умеет в апдейты файлов. Мб и дельта та же умеет сейчас, и проще будет что-то из этого заюзать
Он не апдейтит файлы под капотом.
N
Паркет не поддерживает аппенд или партиал update
N
по сути это тот же самый full outer join с переписыванием, но на стероидах и с кучей оптимизаций
NN
по сути это тот же самый full outer join с переписыванием, но на стероидах и с кучей оптимизаций
Ты про дельту, как я понял?
А
и после этого хоронят хайв, почему там с 1 версии это работает, а в спарке спустя столько нет
А
неужели никому не надо дописывать бакетированные данные в партиции таблиц
А
получается, если вручную оперировать файлами (удалять старые бакеты и дописывать новые), а потом сделать repair table, то так будет работать?
NN
получается, если вручную оперировать файлами (удалять старые бакеты и дописывать новые), а потом сделать repair table, то так будет работать?
В смысле? Бакет в том же hdfs представлен по факту в виде директории, в которой уже отдельные файлы. Как ты хочешь в файлах бакеты удалять и дописывать?
N
Ты про дельту, как я понял?
про худи
А
В смысле? Бакет в том же hdfs представлен по факту в виде директории, в которой уже отдельные файлы. Как ты хочешь в файлах бакеты удалять и дописывать?
если нужно перезаписать 1 бакетированную партицию в партицированной таблице. Получается нужно удаляить партицию, а потом сделать append? Или есть способ перезаписи из коробки? spark.sql.sources.partitionOverwriteMode?
NN
про худи
Ясно
NN
если нужно перезаписать 1 бакетированную партицию в партицированной таблице. Получается нужно удаляить партицию, а потом сделать append? Или есть способ перезаписи из коробки? spark.sql.sources.partitionOverwriteMode?
Так, я чёт не уловил. Ты имеешь в виду партиции, которые файлы, или те, которые partitionBy? Если последние, то, насколько я помню, бакеты внутри партиций, т.е. партиция перезаписывается так же, как раньше. Но я не уверен, потому что последний раз бакетировал год-полтора назад.
R
получается, есть, но в delta OSS был json с версией файлов, и файлы дублировались! это было в 2019
это очень странная история, ибо json с версиями как раз таки содержит уникальный список файлов. А есть какая-то конкретика, линк на issue например?
ИК
это очень странная история, ибо json с версиями как раз таки содержит уникальный список файлов. А есть какая-то конкретика, линк на issue например?
это два с лишним года назад было, мне уже нерелевантно. уникальный список, да, наверное, но когда читали обычным select from hivedb.tablename , то получали дубли. Был сделан вывод, что это просто дозапись файлов и трекинг актуальных
NN
это очень странная история, ибо json с версиями как раз таки содержит уникальный список файлов. А есть какая-то конкретика, линк на issue например?
А как сейчас у дельты с бакетированием? Есть ли возможность дописывать в файлы и сортить внутри, а не делать бесконечные мелкие аппенды?)
AS
и после этого хоронят хайв, почему там с 1 версии это работает, а в спарке спустя столько нет
у них один файл на бакет
NN
у них один файл на бакет
А есть какие-то преимущества в большем количестве файлов на бакет?