ME
Мне кажется, вам есть смысл посмотреть сначала нативный спарк сабмит оператор. А если уже не выйдет, искать другие пути.
Size: a a a
2021 March 09
AK
Мне кажется, вам есть смысл посмотреть сначала нативный спарк сабмит оператор. А если уже не выйдет, искать другие пути.
да, думаю вполне, спасибо, если есть кейс с примером DAG был бы благодарен
ME
да, думаю вполне, спасибо, если есть кейс с примером DAG был бы благодарен
У нас просто запуск одним пайтон оператором спарка через ливи и дальше в цикле ждём, когда кончится) Так что увы, ничего интересного нет
AK
У нас просто запуск одним пайтон оператором спарка через ливи и дальше в цикле ждём, когда кончится) Так что увы, ничего интересного нет
спасибо, в доке нашел сейчас примеры, буду тестировать
A
по моему это делается чрез BashOperator где просто прописывается bash команда для запуска задачи, но тогда как airflow понимает завершилась ли она успешно + еще читал есть проблема со Spark Context, а точнее передачи его между Spark скриптами
вот в какой то презе увидел
у нас так сделано, все можно подкрутить любой параметр
если у тебя джоба свалится то таска красной станет
у нас так сделано, все можно подкрутить любой параметр
если у тебя джоба свалится то таска красной станет
AK
у меня возник еще один банальный вопрос, сами DAG как создаются? в интерфейсе не увидел данной возможности, через скрипты в определенной директории?
A
у меня возник еще один банальный вопрос, сами DAG как создаются? в интерфейсе не увидел данной возможности, через скрипты в определенной директории?
Да)
если хочется что то в интерфейсе создавать то это в nifi)
если хочется что то в интерфейсе создавать то это в nifi)
AK
Да)
если хочется что то в интерфейсе создавать то это в nifi)
если хочется что то в интерфейсе создавать то это в nifi)
А путь к скриптам в данном случае какой?) Есть директория Airflow, но выделенной папки не увидел
EK
у меня возник еще один банальный вопрос, сами DAG как создаются? в интерфейсе не увидел данной возможности, через скрипты в определенной директории?
Есть такой проект: https://github.com/mayansalama/windmill
Не использовал, но вдруг полезен будет
Не использовал, но вдруг полезен будет
AS
приветы
начал ставить эйрфлоу на Убунту по какой-то инструкции с хабра и от khashtamov ком, поставил "по умолчанию" под рутом
потом поставил "Постгрес" отдельно, прописал пользователя
а теперь пытаюсь найти файл airflow.cfg, чтобы в нем поправить хранилище на созданную БД - и ваще не вижу этого файла...
файл конфигурации после первого запуска эйрфлоу появится или я его потерял?
начал ставить эйрфлоу на Убунту по какой-то инструкции с хабра и от khashtamov ком, поставил "по умолчанию" под рутом
потом поставил "Постгрес" отдельно, прописал пользователя
а теперь пытаюсь найти файл airflow.cfg, чтобы в нем поправить хранилище на созданную БД - и ваще не вижу этого файла...
файл конфигурации после первого запуска эйрфлоу появится или я его потерял?
JF
приветы
начал ставить эйрфлоу на Убунту по какой-то инструкции с хабра и от khashtamov ком, поставил "по умолчанию" под рутом
потом поставил "Постгрес" отдельно, прописал пользователя
а теперь пытаюсь найти файл airflow.cfg, чтобы в нем поправить хранилище на созданную БД - и ваще не вижу этого файла...
файл конфигурации после первого запуска эйрфлоу появится или я его потерял?
начал ставить эйрфлоу на Убунту по какой-то инструкции с хабра и от khashtamov ком, поставил "по умолчанию" под рутом
потом поставил "Постгрес" отдельно, прописал пользователя
а теперь пытаюсь найти файл airflow.cfg, чтобы в нем поправить хранилище на созданную БД - и ваще не вижу этого файла...
файл конфигурации после первого запуска эйрфлоу появится или я его потерял?
Можете попробовать посмотреть есть ли папка /root/airflow, возможно там.
А переменная окружения AIRFLOW_HOME была установлена? Если да, то ищите файл в папке на которую указывает эта переменная. Если нет, то можно установить значение этой переменной, и запустить airflow - файл конфига должен создаться этой папке.
А переменная окружения AIRFLOW_HOME была установлена? Если да, то ищите файл в папке на которую указывает эта переменная. Если нет, то можно установить значение этой переменной, и запустить airflow - файл конфига должен создаться этой папке.
AS
хм, да, похоже только после команды "airflow webserver" появился этот каталог и файл
спасибо
спасибо
AA
AA
Возможно, зависит от экзекьютора (и точно от операторов), убъётся ли
D
Понял. У меня питон оператор рпботает
AA
Должно стопаться, но возможны нюансы с экзекьютором
IL
А как вы контроллируете зависимости в дагах?
requirements.txt на весь проект?
requirements.txt на весь проект?