ПФ
Аааа
Size: a a a
2021 February 16
ПФ
Хм, а почему?
ИК
ну, так я уже пробовал
ПФ
Но мы можем каскадные юнионы делать
ПФ
типа делаем юнион на 10 файлов, потом на 10 десятков и так далее
ИК
можем, но ты подумай зачем, если можно список названий файлов кинуть в .load(paths: _*)
ПФ
Так оно по условию задачи выжирает всю память
ИК
Народ. Подскажите. Как мне прочитать и сджойнить огромный набор непартийированных данных. Шаффлинг зашкаливает. Пока приходит в голову только считать и пересохранить все это партицированно . Только боюсь что прочитать и сохранить не получится изза обьемов
Как и с чем джойнить?
G
Ну есть другая маленькая. Ее надо джойнить с этим кошмаром
ПФ
броадкаст?
ИК
надо на бродкаст выводить
G
надо на бродкаст выводить
А он разве по умолчанию не правильный?
ИК
можно попробовать намекнуть bigDF.join(org.apache.spark.sql.functions.broadcast(smallDF), condition, type)
Или, если строка SQL, то хинтом - /*+ BROADCAST(small_table) */
Или, если строка SQL, то хинтом - /*+ BROADCAST(small_table) */
ИК
и смотреть .explain(true), чтобы там был BroadcastHashJoin или BroadcastNestedLoopJoin (вроде так)
ВК
а в конфиге spark-defaults.conf или через spark-submit --driver-memory 5g
спасибо, отработало.
а какие еще настройки надо указывать через спарк сабмит, а не через код?
а какие еще настройки надо указывать через спарк сабмит, а не через код?
ИК
а файлы пачками читать только через .load(paths: _*), можно наделать кучу слайсов по любым параметрам. И самое интересное - при вызове .load(…) спарк строит InMemoryFileIndex распределенно на экзекуторах , то есть, намного быстрее, чем на драйвере обращаться к неймноде
ИК
в цикле по каждому файлу ходить тоже нельзя - оверхед слишком высокий
t
спасибо, отработало.
а какие еще настройки надо указывать через спарк сабмит, а не через код?
а какие еще настройки надо указывать через спарк сабмит, а не через код?
В основном те, которые влияют на конфиг драйвера - мастер, режим запуска, память, коры, java opts, переменные окружения, classpath, керберос и т п. Просто помни, что вот этот твой SparkSession.builder() работает внутри драйвера - то есть драйвер УЖЕ запущен и работает где-то (ярн, локал и т п)
t
Большинство параметров, касающихся воркеров, можно настроить в момент SparkSession.builder()
M
При записи одного файла есть вообще какая-то разница между coalesce и repartition?