спасибо.

zipWithIndex видимо самый эффективный будет, возможно получить избежать shuffle который будет при groupBy|window

да там максимум групп пару тысяч, но нельзя чтобы поехали, а дальше джоин. Так что можно и однострочником.

типа такого?

lookup = (uniq_flag.select("rank")
    .distinct()
    .orderBy("rank")
    .rdd
    .zipWithIndex()
    .map(lambda x: x[0] + (x[1], ))
    .toDF(["rank", "cat"]))

Кто сталкивался с ошибкой: taskcommitdenied, driver denied task commit? возникает в основном на загруженном кластере, в интернете информации почти не нашёл

Встречал такое, решилось увеличением памяти для драйвера и экзекьютера.

В нашем случае проявлялось при записи большого объема данных в паркет

Тут что то похожее, правда проявляется в основном на загруженном кластере, тоже пробовал уменьшить кол-во экзекьюторов при увеличении памяти, но не всегда помогает, выглядит как какой-то лок на драйвере

Мы увеличивали пока не помогло. Вообще есть рекомендации по вычислению правильного объема памяти при записи в паркет.

Ребята, а расскажите, как вы делаете профилирование ваших спарк джобов и как у вас мониторинг обустроен для спарка

Собственным опытом мониторинга не располагаю, по теме могу посоветовать посмотреть на:
http://db-blog.web.cern.ch/blog/luca-canali/2018-08-sparkmeasure-tool-performance-troubleshooting-apache-spark-workloads

https://www.qubole.com/blog/sparklens-0-2-0-release-features-and-fixes/

В рамблере у нас Sentry был. По мониторингу какие-то базовые метрики по JVM и джобам собирали, так и не смогли глубоко копнуть, что именно надо собирать

Spark Metrics + Graphite Sink + Grafana Dashboard

Имхо вопрос как эту тонну спарк метрик мониторить

Всем привет! Уже совсем скоро состоится долгожданный Mocsow Spark #6. У нас 174 регистрации из 200, поэтому если кто-то еще не зарегался, то пожалуйста. Ну и коллегам рекомендуйте.

И еще вот какое дело, наш митап номинировали в лучшие мероприятия сообщества Open Data Science. Проголосовать можно тут https://docs.google.com/forms/d/e/1FAIpQLSdPU3viDEsJkbJKfxor66MrVZX0pTLt30R1I5oJCEGXRCcdyA/viewform

Наверное будет справедливо, если проголосуют только зареганные в ODS. Хотя, думаю, что Леша Натекин почистит ))

Подскажите как оптимально сделать аналог кода ниже. Я только через filter -> select -> first пока придумал, ну или toPandas оба фрейма и напрямую.

meta_old.loc['date', name]
 > meta_new.loc['date', name2]

Типа хинт, в условия джойна можно прописывать кастомное выражение

Всем привет! Moscow Spark #6 уже в эту пятницу! Из 200 регистраций осталось 4, поэтому те, кто еще не подал заявку - спешите! Хочу предупредить, что регистрация, в любом случае, закроется в среду. После этого я передам списки охране Мегафона и уже не смогу никого включить. Поэтому есть еще 2 дня, чтобы подумать. На прошлом митапе в последний момент прилетело около 5 или 6 заявок в личку и, чтобы пропустить этих людей, пришлось протратить какое-то количество нервов и ресурсов. В этот раз мы этим заниматься не будем. Морализаторство окончено, ждем всех в пятницу! ))