NN
да, или писать свою реализацию (это возможно) или ждать, пока сделают (не дождёмся)
Ох. Ну, как я думал. Пасиб)
Size: a a a
2021 April 01
NN
Евгений Глотов
А где-то в коде джойна есть опора на гарантию сортировки в бакетах, или это так, для оптимизации хранения используется?
Жень, а переведи для тупых, на практике это что означает?)
ИК
Ну, ещё мож быть форматы типа hudi помогут
ЕГ
Жень, а переведи для тупых, на практике это что означает?)
Ну, если в орке будет написано, что он отсортирован по колонке джойна, то sortmerge join не будет не только шаффлить, но и сортировать, джойн вообще без сложных алгоритмов
NN
Ну, ещё мож быть форматы типа hudi помогут
А там что?
ИК
а там есть мутабельность файлов!
NN
а там есть мутабельность файлов!
А в дельте же тоже есть, получается?
ИК
Евгений Глотов
Ну, если в орке будет написано, что он отсортирован по колонке джойна, то sortmerge join не будет не только шаффлить, но и сортировать, джойн вообще без сложных алгоритмов
peak memory usage - в двадцать раз меньше!
NN
Евгений Глотов
Ну, если в орке будет написано, что он отсортирован по колонке джойна, то sortmerge join не будет не только шаффлить, но и сортировать, джойн вообще без сложных алгоритмов
Понял)
ИК
А в дельте же тоже есть, получается?
получается, есть, но в delta OSS был json с версией файлов, и файлы дублировались! это было в 2019
NN
Евгений Глотов
Ну, если в орке будет написано, что он отсортирован по колонке джойна, то sortmerge join не будет не только шаффлить, но и сортировать, джойн вообще без сложных алгоритмов
Но это, опять таки, перестает работать сразу же, как только файлов становится >1, так?
ЕГ
peak memory usage - в двадцать раз меньше!
На укладку долётов с сортировкой больше ресурсов потратим😐
ИК
Евгений Глотов
На укладку долётов с сортировкой больше ресурсов потратим😐
полностью бесплатно вообще ничего не бывает ^^
ЕГ
Ну хоть спарк бесплатный, и то ок)
NN
получается, есть, но в delta OSS был json с версией файлов, и файлы дублировались! это было в 2019
@renardeinside не подскажешь, как с этим сейчас?
NN
Евгений Глотов
Ну хоть спарк бесплатный, и то ок)
Ну это если не пытаться переводить в деньги те усилия, которые мы прикладываем, чтобы джобы более-менее прилично работали)
ИК
Но это, опять таки, перестает работать сразу же, как только файлов становится >1, так?
org.apache.spark.sql.execution.DataSourceScanExec
// In case of bucketing, its possible to have multiple files belonging to the
// same bucket in a given relation. Each of these files are locally sorted
// but those files combined together are not globally sorted. Given that,
// the RDD partition will not be sorted even if the relation has sort columns set
// Current solution is to check if all the buckets have a single file in it
Всё однозначно написано
// In case of bucketing, its possible to have multiple files belonging to the
// same bucket in a given relation. Each of these files are locally sorted
// but those files combined together are not globally sorted. Given that,
// the RDD partition will not be sorted even if the relation has sort columns set
// Current solution is to check if all the buckets have a single file in it
Всё однозначно написано
NN
org.apache.spark.sql.execution.DataSourceScanExec
// In case of bucketing, its possible to have multiple files belonging to the
// same bucket in a given relation. Each of these files are locally sorted
// but those files combined together are not globally sorted. Given that,
// the RDD partition will not be sorted even if the relation has sort columns set
// Current solution is to check if all the buckets have a single file in it
Всё однозначно написано
// In case of bucketing, its possible to have multiple files belonging to the
// same bucket in a given relation. Each of these files are locally sorted
// but those files combined together are not globally sorted. Given that,
// the RDD partition will not be sorted even if the relation has sort columns set
// Current solution is to check if all the buckets have a single file in it
Всё однозначно написано
И не поспоришь. Евгений , пошли пилить свой глобал сорт
NN
ЕГ