Круто! А на Moscow Spark Холден выступать отказалась ))

Знаю, @pomadchin постил. И я никогда не видел Карау))

У Оли длинные руки. Это с одной стороны конфа про бигдату, а с другой стороны Холден давно знает Оли по скала комьюнити

халявный билетик забрал^^

ну один-то баксик можно было и закинуть

Но я рад )

Коллеги, кто знает, как ограничить шафл? Дело в том, что если надо перемешать действительно крупную таблицу, то я раньше делал по частям, по терабайту, хотя бы. Но это было, когда я использовал внешний API. Было несложно взять сто тысяч файлов, перемешать их, чтобы получить бакеты, записать в конечную директорию и так хоть 100500 раз, весь вопрос только во времени.
Теперь получается сложнее, потому что ShuffleDependency, которая создаётся для стейджа, совсем одна и я не вижу способа как-то её размножить. Может кто-то знает более-менее стандартный способ сделать partial shuffle?

а она же и так за донат

так и есть. Ну я вот предлагаю хотя бы доллар-то закинуть. Ну или там десять, сколько не жалко короч

ну 10 на Холден не жалко!

ну я тут не берусь говорить кто себе может сколько позволить, я помню как у меня зарплата была 25к из которых 12 уходило на квартиру, а ещё 12 за неё давали родители…

Не забудь потом купить новую книжку Холдена про Kubeflow ))

Кажется, Холден неправильно склонять )

у меня подписота на ACM 🙂

Олсо, кубефлоу — огонь

а, значит не поздно еще! Кинул немного

One thing at a time… )

Ну вот да, именно поэтому ;)

Продолжаю размышления, может есть абстракция типа RDD => Seq[RDD], и можно на каждый RDD применить полученную ShuffleDependency? Но в конечном итоге они снова должны стать одним RDD, что их Union-ом склеивать?

Да я ж звал тя ...