ровно так мы и планировали поступить, правда для dataflow использовать meltano от gitlab, который из коробки включает dbt и airflow, но взвесив за и против, решили, что гибкости спарка все равно в таком подходе не достичь, т.к. нет четкого разделения данных и логики, в свою очередь нет возможности реализовать логику с помощью классических средств разработки (дебага, эксепшенов, профайлинга), нет возможности использовать функциональный подход, соответственно нет нормального тестирования, даже нет возможности провесить логами внутренности шага

и все это в конечном счете приводит к увеличению time-to-market, увеличивает риски, ну и от самого процесса разработки приятного мало

В итоге у вас  голый Спарк?

на голом спарк далеко не уедешь, надо же где-то хранить данные, присматриваемся к azure data lake v2 + databricks

да, вот про облака вопрос ))
 я правильно понимаю что там место хранения и расчета разделены ? т.е. концепция - там где храним , там и считаем не выполняется..
- или там скорость чтения сопоставима с локальным диском ?

оркестратор какой выбрали ?

как раз в такой связке концепция где храним, там и считаем - выполняется, hdfs, mapreduce, spark все дела… либо я не понял вопрос

да я думаю тем же airflow обойдемся

вот разные квадратики ))   ( -это физическое разделение или логическое ? )

скорее логическое, так как спарк джобы выполняются на том же кластере, что и ADLS, другое дело, что вам при реализации пайплайна нужно его оптимизировать его таким образом, чтобы сократить межсетевой обмен между датанодами - здесь я пока не подскажу, только начал копать в эту сторону

я пока планирую как сказал @asm0dey выше просто перетащить все свои CTE в отдельные методы на спарке и забенчмарчить - расскажу что получится )

Яна?

Скажите а что и как вы тестируете в Спарке для DF ?
 есть ли примеры кода когда тестами покрывается качество данных, результат расчета .
можно ли в самом расчете проверить рухнул ли определенный таск и какие были метрики DF в момент падения ?

В чем смысл переписывать на df если переписывать то над брать ds . slowpoke.jpg

Тестируем скала-тестом и тестконтейнерами.
Есть, конечно. Написал ты например функцию, которая df агрегирует row_number-ом, сделал входной детальный датафрейм, скормил его функции, получил схлопнутый, скормил его ассерту-профит.
про метрики это надо в сторону аккумуляторов смотреть.

Мб пайспарк же

Ой как больно

на гите есть примеры подобного похода ?

Да нормально

для pyspark есть https://github.com/MrPowers/chispa

для spark на java есть https://github.com/holdenk/spark-testing-base

для spark  на скала есть https://github.com/holdenk/spark-testing-base или https://github.com/MrPowers/spark-fast-tests