Вообще хорошая практика

У меня sparksql запросы

➕

И иногда красиво это припудрить .sortWithinPartitions()

Через sql это можно как то сделать?

Ну, можно бакетирование сделать

Если у вас нет необходимости поддерживать доступность таблиц для хайва

DISTRIBUTE BY SORT BY вроде

Боюсь что запись n бакетов так же не будут грузить кластер, а занимать по времени также как запись n shuffle partition

Но я проверю, спасибо

Привет. Подскажите что почитать. Есть реализованный на pyspark пайплайн, в виде набора функций py, на выходе каждой функции структура питона и фрейм спарка, хочется при падении сессии и кластера, перезапустить расчеты с последнего удачного шага пайплайна. Можно например питоновскую структуру пиклить, а спарк фрейм сохранять на с3, и при новом запуске чекать, так сказать чекпоинты. Есть для этого готовые инструменты, чтобы не городить велосипед? Кстати, я так понял чекпоинты над рдд смысла использовать нет, если у тебя хдфс вместе с кластером с нуля рестартуют. (AWS EMR)

есть, airflow

есть datapipeline и stepfunctions

Да, но там это будет по сути так же выглядеть, что вы струткуру на выходе разбираете и сохраняете, при падении. Чекпоинтов не нашёл у них в доке, поправьте если не так + это в целом очень мощный инструмент, если пока не видишь необходимости в нем, стоит оверинженерить?

как после падания сессии что-то делать то?

Рестартанул кластер, засабмитил апп, вычитал с с3 последние удачные выходы элементов пайплайна, и пошёл дальше вести расчеты.

и чем рестартить? руками?

Сабмитеть тоже?

Все это лямбдами уже делается и рулами.

ну тогда б-г в п-мщ

Я вас понял, по поводу айрфлоу, выглядит так что это все должно быть на нем, но имеется такая реализация, как я описал.