EV
😀
Size: a a a
2018 April 18
AK
это и пугает
VM
Проходятся все фазы, от отвращения, неприятия до смирения;)
2018 April 19
AI
Да норм работает, если учитывать все нюансы. У нас и sqoop и hdfs и hive. Правда sqoop хук пришлось нормально так подправить.
а почему подправить? глючит? там же вроде просто питон-обертка
A
а почему подправить? глючит? там же вроде просто питон-обертка
а там в операторе нельзя указать очень много параметров, которые нам нужны при запуске скупа
AI
спасибо! а если заюзать просто BashOperator - и туда запихнуть вызов sqoop - так можно в теории?
SS
можно, если не пугает, что в логах таска будет пароль к БД
SS
и еще, учитывайте, что airflow worker, на котором будет запускаться таск со sqoop-operator'ом должен иметь установленное клиентское ПО хадупчика, чтоб sqoop был доступен
AI
понятно) спасибо!
2018 April 26
JS
прошу, прощения за оффтоп, вернулся снова посмотреть в airflow - что с python3 как дела обстоят?
r
Все хорошо вроде как. Самый популярный docker-образ на python3 работает
JS
railscard
Все хорошо вроде как. Самый популярный docker-образ на python3 работает
какой именно - puckel/docker-airflow - этот?
r
да
2018 May 03
EM
для этих целей сейчас компании берут отдельного человека, который выстраивает процесс доставки
Не всегда есть возможность этого человека найти и тем более обосновать позицию для него. Особенно когда ты не в ДС.
EM
Кто-нибудь работал с Pentaho перед переходом на Airflow? Сможете накидать аргументы в пользу второго? В отделе используем уже давно SSIS и MS SQL, сейчас подбираем комплиментарное решение и возможно даже замену для SSIS, но разработчики все саботируют Airflow и приводят странные аргументы против, вроде отсутствующего планировщика в Airflow и т.д.
МС
Кто-нибудь работал с Pentaho перед переходом на Airflow? Сможете накидать аргументы в пользу второго? В отделе используем уже давно SSIS и MS SQL, сейчас подбираем комплиментарное решение и возможно даже замену для SSIS, но разработчики все саботируют Airflow и приводят странные аргументы против, вроде отсутствующего планировщика в Airflow и т.д.
Мы используем оба. Но не вместо, а вместе :)
Один из типичных наших dag это запуск Pentaho джоба.
Один из типичных наших dag это запуск Pentaho джоба.
EM
Мы используем оба. Но не вместо, а вместе :)
Один из типичных наших dag это запуск Pentaho джоба.
Один из типичных наших dag это запуск Pentaho джоба.
Хорошая идея)
МС
На самом деле совсем разные же продукты