VS
делать выгрузку и загрузку батчами
Size: a a a
2018 May 14
VS
тогда надо памяти максимум под 2 батча
G
я стараюсь такие перекачки делать в 3 этапа:
1) выгрузить на источнике в дамп (CSV, например)
2) перенести по scp с источника на приемник
3) загрузить дамп в стейджинг приемника
1) выгрузить на источнике в дамп (CSV, например)
2) перенести по scp с источника на приемник
3) загрузить дамп в стейджинг приемника
Не мой вариант, но спасибо!
G
Если стандартный опертор грузит все в память, то надо написать свой, который будет выгружать блоками по N строк и складывать файл на сервере airflow, затем писать в целевую базу
Тоже так подумал. Но решил спросить, вдруг есть более удобный вариант.
KS
Тоже так подумал. Но решил спросить, вдруг есть более удобный вариант.
законтрибьютить еще, чтобы у всех появился удобный вариант =)
FL
Для стека Hadoop такую задачу решает Apache Sqoop. Airflow имеет встроенный Sqoop Operator. Если у тебя другой стек, попробуй погуглить аналоги или почитай про архитектуру Sqoop и сделай похожее сам.
KK
Добрый день! Кто-нибудь работал с BigQuery? Есть партицированная по дню табличка, которую создает Даг. Каждый час Даг ранится, и переписывает все за текущий партишн = текущий день. Есть ли возможность переписать предыдущие 30 дней, допустим?
2018 May 16
EM
если я правильно понял, то достаточно просто в запрос подставить execution date (как описано здесь https://airflow.incubator.apache.org/concepts.html#jinja-templating) чтобы запрос отрабатывал не за сегодня, а за нужное число, а потом перезапустить предыдущие даги через GUI или CLI
YU
Всем привет. Недавно начали использовать Аирфлоу у себя в компании и столкнулись с необходимостью раннить квери в Хайв. Стандартный Hive Operator, на сколько я понял из данного ответа на СО https://stackoverflow.com/questions/34625153/airflow-hiveoperator-not-working работает сверху CLI клиента, которого у нас нет на аппе с Аирфлоу. Заюзали пока либу pyhive, но хочется решения из коробки, и в связи с этим вопрос, у кого-то получилось кверить в хайв через JdbcOperator? У нас на текущий момент падает с py4j.Py4JException: Method getConnection([class java.lang.String, class java.lang.String]) does not exist
2018 May 17
A
Всем привет. Недавно начали использовать Аирфлоу у себя в компании и столкнулись с необходимостью раннить квери в Хайв. Стандартный Hive Operator, на сколько я понял из данного ответа на СО https://stackoverflow.com/questions/34625153/airflow-hiveoperator-not-working работает сверху CLI клиента, которого у нас нет на аппе с Аирфлоу. Заюзали пока либу pyhive, но хочется решения из коробки, и в связи с этим вопрос, у кого-то получилось кверить в хайв через JdbcOperator? У нас на текущий момент падает с py4j.Py4JException: Method getConnection([class java.lang.String, class java.lang.String]) does not exist
Хайв оператор ещё через билайн работать может
2018 May 21
YE
Друзья, привет!
#bigdata #data #вакансии
Ищу в команду инновационного центра при департаменте транспорта Москвы крутых специалистов на архитектурно-инфраструктурное направление.
Уникальная возможность непосредственно делать BigData для города, в котором живешь!
Кого конкретно ищу:
1. Руководителя отдела - https://cloud.mail.ru/public/LmeE/FFwokaUop
2. Data Engineer - https://cloud.mail.ru/public/FCAr/5RCb5s3hx
3. Administrator - https://cloud.mail.ru/public/8kg4/soq5Nj1D6
На позицию 1 нужен реально крутой специалист, готовый строить как и систему, так и команду (в прямом подчинении команда до 6 человек).
Кто заинтересован, пишите yury.emeliyanov@live.ru или звоните +79854566473
Шер, лайк, репост!
И да пребудет с нами Data!
#bigdata #data #вакансии
Ищу в команду инновационного центра при департаменте транспорта Москвы крутых специалистов на архитектурно-инфраструктурное направление.
Уникальная возможность непосредственно делать BigData для города, в котором живешь!
Кого конкретно ищу:
1. Руководителя отдела - https://cloud.mail.ru/public/LmeE/FFwokaUop
2. Data Engineer - https://cloud.mail.ru/public/FCAr/5RCb5s3hx
3. Administrator - https://cloud.mail.ru/public/8kg4/soq5Nj1D6
На позицию 1 нужен реально крутой специалист, готовый строить как и систему, так и команду (в прямом подчинении команда до 6 человек).
Кто заинтересован, пишите yury.emeliyanov@live.ru или звоните +79854566473
Шер, лайк, репост!
И да пребудет с нами Data!
SS
Коллеги, привет! Возможно, кому-то будет полезно... Выложил скрипты для создания Airflow parcel/CSD под Cloudera CDH - https://github.com/ssheremeta/airflow-cloudera
EV
👌
2018 May 25
NB
Йоу, кто-то использует TriggerDagRunOperator, есть пару вопросов?
NB
Пример который я использую: https://codebunk.com/b/700221710/ и проблема в том что dependent dag который я запускаю с TriggerDagRunOperator находится всегда в состоянии running и не запускает свои таски
NB
apache-airflow==1.9.0