ПФ
Прям по хардкору?
Ну да, н в целом как раз про это — прочитать с диска, записать на диск, сугубо последовательно. Прям можно им же перепартицировать
Size: a a a
2021 February 16
G
Можно как то прочитать так чтобы шаффл не зашкаливал?
G
Они лежат во множестве файлов. Может тупо в цикле по каждому пробежаться?
N
Народ. Подскажите. Как мне прочитать и сджойнить огромный набор непартийированных данных. Шаффлинг зашкаливает. Пока приходит в голову только считать и пересохранить все это партицированно . Только боюсь что прочитать и сохранить не получится изза обьемов
А формат исходных данных позволяет их читать частями?
G
Паркет
ПФ
Они лежат во множестве файлов. Может тупо в цикле по каждому пробежаться?
Ааааа! Я думал у тебя типа 15 5-терабайтных файлов
N
Ну читайте пачками по n файлов и джойните
ПФ
ну да, делаем датафрейм из имён файлов, а потом мапим каждое имя )
G
А что то более технологичное :)
G
ну да, делаем датафрейм из имён файлов, а потом мапим каждое имя )
Ух ты а это как?
ПФ
Ух ты а это как?
ну ты имена файлов можешь собрать же?
G
Не соображу. Ну есть имена.
ПФ
сгоняешь их на мастере в лист, его .toDF(), map(spark.read.parquet(_)).reduce(_ union _)
G
Вот чтобы не тупо циклом а как то в параллель
G
сгоняешь их на мастере в лист, его .toDF(), map(spark.read.parquet(_)).reduce(_ union _)
👍
ПФ
Сорри, я медленно в телеге код пишу )
G
Да не. Супер
ИК
сгоняешь их на мастере в лист, его .toDF(), map(spark.read.parquet(_)).reduce(_ union _)
Нет! Нельзя, квадратичная сложность (по крайней мере на spark 2.2)
ИК
больше пятисот юнионов и можно килять приложение
ПФ
Нет! Нельзя, квадратичная сложность (по крайней мере на spark 2.2)
Так подожди, какая разница какая у тебя сложность если пифоманса на это хватает?