Size: a a a

2020 October 29

T

Tishka17 in Airflow
Igor
Взять его из базы где-то рядом? Или из xcom прошлого запуска?
Так в базе куча объектов
источник

E

Edya in Airflow
Tishka17
А как я могу передать параметр в запуск дага? Грубо, у меня есть граф, обрабатывающий один объект (по айди, урлу или типа того). Как я могу при запуске указать айди объекта для обработки?
для этого есть dag_run.conf и/или Variable
источник

T

Tishka17 in Airflow
Вот у меня в БД 1000 объектов, я хочу обработать 10 из них
источник

I

Igor in Airflow
Tishka17
Вот у меня в БД 1000 объектов, я хочу обработать 10 из них
Так я про айдишник а не объект, если тебе надо как-то их там синкать что ты уже обработал а что нет
источник

T

Tishka17 in Airflow
У меня просто ощущение, что я сейчас половину фич эйрфлоу рядом сам изобрету. Поэтому интересуюсь
источник

T

Tishka17 in Airflow
Igor
Так я про айдишник а не объект, если тебе надо как-то их там синкать что ты уже обработал а что нет
То есть я не могу запустить граф и сказать ему какой объект (айди) обрабатывать?
источник

T

Tishka17 in Airflow
Тогда альтернативный вариант. Я делаю оператор, который получает список объектов, которые надо обработать. Как мне теперь запустить параллельную обработку их следующими операторами?
источник

I

Igor in Airflow
Ну если это не вычисляется как-то из текущей даты, и ты хочешь для разных дагранов иметь разные айдишники, то да, тебе нужно как-то придумать как это хранить

Ты можешь хранить это в аирфлоушных переменных, тянуть из xcom прошлого запуска, но тогда надо их там писать, или придумать своё хранилище сбоку
источник

I

Igor in Airflow
Tishka17
Тогда альтернативный вариант. Я делаю оператор, который получает список объектов, которые надо обработать. Как мне теперь запустить параллельную обработку их следующими операторами?
Это выглядит как то, что решается через xcom
источник

T

Tishka17 in Airflow
Нет, из даты это не вычисляется. Если только я не буду айдишники хитрым образом кастовать в таймстампы, :+D
источник

T

Tishka17 in Airflow
Igor
Это выглядит как то, что решается через xcom
А как? Xcom - это общее хранилище же. А мне надо для каждого объекта запустить часть графа и чтобы обработка разных объектов не путалась в данных
источник

T

Tishka17 in Airflow
То есть я вот получил, что у меня 10 объектов не обработано, для каждого запустил один и тот же оператор, а за ним следующий и т.п.
источник

I

Igor in Airflow
Ну, я не знаю деталей твоей задачи, но например из простых вариантов что у тебя за оператором, тянущим айдишники пять операторов обработчиков.

Ты первым оператором вытащил айдишники и решил кто из обработчиков какие айдишникисчитает, пульнул в xcom джсон с разбивкой.

Далше каждый отработк считали xcom, взяли свои айдишники и побежали их считать
источник

ME

Max Efremov in Airflow
источник

ME

Max Efremov in Airflow
Оно?
источник

T

Tishka17 in Airflow
Оно, спасибо.
источник

ME

Max Efremov in Airflow
Потом ещё один даг, который будет ранать даги с параметрами)
источник

T

Tishka17 in Airflow
Делаю один Даг на обработку объекта и второй - который триггерит его с параметрами?
источник

T

Tishka17 in Airflow
А там есть кэширование результатов по этим параметрам?
источник

ME

Max Efremov in Airflow
Смотря какая задача, конечно. Модно и руками триггерить. Или скриптом каким
источник