P
Size: a a a
2018 January 24
ДС
Я понял..мне нужно много 3д принтеров
:-D
AT
Приду и установлю себе на виртуалку airflow - пусть живёт)
YE
Кого заинтересовал airflow для пайлайна в ML: AirBnB намутили автоматор ML, который в AF сам пайплайн выстраивает.
Спасибо, это действительно интересно.
SS
а разве ML Automator выложен в открытый доступ?
P
а разве ML Automator выложен в открытый доступ?
На сайте был вроде код + объяснение принципа.
SS
там лишь принцип
AY
Всем привет, как же не хватало такой группы)
Кто-нибудь разбирался как пометить таски success в еще ни разу не запущеном даге или в других версиях не выскакивает exception с отсутсвием start date? Используем 1.8.0
Кто-нибудь разбирался как пометить таски success в еще ни разу не запущеном даге или в других версиях не выскакивает exception с отсутсвием start date? Используем 1.8.0
2018 January 25
DA
такой вопрос тем кто льет из Airflow в Clickhouse, вы свои хуки писали, а то я не встретил чего-то готового?
ДС
Мы писали свои операторы. Один — для транспортировки данных из хайва в стейджинговую область, второй — для перекладывания из стейджа в основную базу. Но у нас они не очень универсальны, заточены именно под наши данные.
OI
там по сути выполняется в разных вариация что-то такое
даже без хуков
clickhouse-client --host host --port <port> --user user -q "{query}"даже без хуков
OI
через
subprocessOI
коннекшены хранятся в connections, подтягиваются через
BaseHookOI
только не через
get_conn (он в BaseHook бросает исключение NotImplementedError()), а с помощью статического get_connectionYE
Airflow здесь просто управляет потоком который качает подготовленные данные из hadf в ch
hadoop fs -cat | clickhouse-client --host host --port <port> --user user -q "{query}"SS
Мы писали свои операторы. Один — для транспортировки данных из хайва в стейджинговую область, второй — для перекладывания из стейджа в основную базу. Но у нас они не очень универсальны, заточены именно под наши данные.
Дина, а вы Airflow в докер заворачиваете или в virtualenv в хостовой ОС? и какая версия питона в docker/venv ?
ДС
Докеров у нас пока нет, мы virtualenv под Python2.7