AK
по моему это делается чрез BashOperator где просто прописывается bash команда для запуска задачи, но тогда как airflow понимает завершилась ли она успешно + еще читал есть проблема со Spark Context, а точнее передачи его между Spark скриптами
Size: a a a
2021 March 09
ME
ребята у меня вопрос у кого нибудь был опыт запуска spark-submit скриптов из airflow и вообще связки apache spark и airflow?
Мы через ливи страдаем...
ME
Не советую)
ME
А спарк сабмит оператор не нравится?
AK
А спарк сабмит оператор не нравится?
да, нормально через spark-submit, но тогда нужно использовать bashOperator и запускать консольную команду?
AK
Мы через ливи страдаем...
читал как раз статью на медиуме про ливи там хвалили его)
ME
да, нормально через spark-submit, но тогда нужно использовать bashOperator и запускать консольную команду?
А зачем баш, если есть SparkSubmitOperator?
AK
А зачем баш, если есть SparkSubmitOperator?
не видел в доке) посмотрю
ME
читал как раз статью на медиуме про ливи там хвалили его)
У нас он с дефолтными настройками и умирает на 7+ одновременных сессиях
ME
при спарк сабмите нельзя ему код кинуть, нужно уже иметь код в hdfa/s3 для запуска.
ME
У нас он с дефолтными настройками и умирает на 7+ одновременных сессиях
Поэтому используем интерактивные сессии...
AK
У нас он с дефолтными настройками и умирает на 7+ одновременных сессиях
понял) мы как раз только начали строить ETL с нуля и накапливаем базу знаний
ME
Вообще, там какие-то костыли воткнуты, надо всё рефакторить 😂
ME
У нас он с дефолтными настройками и умирает на 7+ одновременных сессиях
эту багу в 0.7.1 должны бы пофиксить, видел пул реквест с весны того года висел
ME
Вообще да, к ливи основная прtтензия у нас в том, что POST /batches не принимает контент файла для запуска, а только путь до него. Видел PR на это, но там потом забили, найдя другое решение
AK
при спарк сабмите нельзя ему код кинуть, нужно уже иметь код в hdfa/s3 для запуска.
а как быть если у нас есть python скрипт job py и мы запускаем его через консоль spark - submit job py?
ME
а как быть если у нас есть python скрипт job py и мы запускаем его через консоль spark - submit job py?
А файл скрипта где лежит, в кластере?
AK
А файл скрипта где лежит, в кластере?
да, там же просто в любом каталоге на кластере - у нас кластер в standalone 1 машинка и мастер и slave
ME
Если ливи имеет доступ к нему, тогда ок, всё можно запускать через ливи батчами
AK
Если ливи имеет доступ к нему, тогда ок, всё можно запускать через ливи батчами
попробую, пока с установкой ливи не очень разобрался