Size: a a a

2020 September 17

FS

Fedor Sumkin in Airflow
Подскажите есть возможность закомментить параметры json в variables?
источник

ME

Max Efremov in Airflow
В json нет комментариев же
источник

VN

Vova Narovchatskiy in Airflow
С помощью какого оператора можно подключиться к кластеру с удалённого сервера и выполнить там баш скрипт, который запустит создание таблиц в hive?
Пробовал через SSHOperator, но он требует доустановить paramiko (нет возможности это сделать)
источник

M

Mikhail in Airflow
попробуйте установить paramiko в virtualenv operator и через него запустить
источник

DM

Dan M. in Airflow
Bash operator ?
источник

VN

Vova Narovchatskiy in Airflow
Mikhail
попробуйте установить paramiko в virtualenv operator и через него запустить
Я нашёл только pythonvirtualenvoperator, но тут же у меня так же будет проблема доступов. Может есть какие другие операторы
источник

VN

Vova Narovchatskiy in Airflow
Dan M.
Bash operator ?
Каким образом я подключусь с удаленного сервера?
источник

DM

Dan M. in Airflow
Через тот же ssh?
источник

M

Mikhail in Airflow
а ну в принципе да
выполняете локальную баш команду, которая по ssh подключается к кластеру и выполняет там нужный скрипт
источник

С

Сюткин in Airflow
Mikhail
а ну в принципе да
выполняете локальную баш команду, которая по ssh подключается к кластеру и выполняет там нужный скрипт
Звучит как костыль
источник

M

Mikhail in Airflow
типа bash_command='ssh cluster -c '/bin/bash /home/user/run_script.sh''`
источник

M

Mikhail in Airflow
ну не костыль это sshoperator
источник

M

Mikhail in Airflow
автор так не умеет
источник

VN

Vova Narovchatskiy in Airflow
Нет возможности
источник

С

Сюткин in Airflow
Ну повторюсь ещё раз,звучит как костыль

Вместо того чтобы решать проблему чтобы взлетел sshexecute... нужно танцевать с бубном?
источник

VN

Vova Narovchatskiy in Airflow
Сюткин
Ну повторюсь ещё раз,звучит как костыль

Вместо того чтобы решать проблему чтобы взлетел sshexecute... нужно танцевать с бубном?
То есть получается это единственный нормальный выход?
Может есть оператор, который по jdbc  подрубится к хайву и в нем запустить создание таблиц
источник

DM

Dan M. in Airflow
Vova Narovchatskiy
То есть получается это единственный нормальный выход?
Может есть оператор, который по jdbc  подрубится к хайву и в нем запустить создание таблиц
Jdbcoperator?
источник

С

Сюткин in Airflow
Vova Narovchatskiy
То есть получается это единственный нормальный выход?
Может есть оператор, который по jdbc  подрубится к хайву и в нем запустить создание таблиц
Решение твоей задачи -вагон и маленькая тележка,вопрос в том как сам решишь

Ты можешь написать любую функцию и вызывать её через pythonoperator,начиная с вызова билайна,jdbc или еще других решений, никто не ограничивает

Но забивать болт на sshexecute ну такое себе
источник

С

Сюткин in Airflow
Надо сделать чтобы работало)
источник

VS

Vladislav 👻 Shishkov... in Airflow
Vova Narovchatskiy
То есть получается это единственный нормальный выход?
Может есть оператор, который по jdbc  подрубится к хайву и в нем запустить создание таблиц
на питоне это прям целое веселье, с удовольствием почитаю/послушаю, если сможете такое завести "продакшн рейди"
источник