Size: a a a

2021 April 07

マサ

マキシム サモイロフ... in Airflow
А, да, еще у task instance нет такой штуки как “ошибка при падении”. Это не тот уровень абстракции, правильный где-то на уровне task_fail и job
источник

ФЧ

Филипп Чистяков... in Airflow
Я делаю выгрузку по API из сервиса AppsFlyer. В нем есть ограничения на лимиты (12 вызовов в день на 1 тип отчета).

Что я хочу:
Если execution day был более чем 24 часа назад и завершился с ошибкой в логах:
Your API calls limit has been reached for report type

то сделать clear за эту дату и запустить заново
источник

ФЧ

Филипп Чистяков... in Airflow
Наверное я могу в таске с выгрузкой, если такую ошибку получаю, изменить статус таска на skipped

а из другого dag проверять на этот статус
источник

A

Alex in Airflow
тоже для одного сервиса наподобие такого делаю. там ограничение на количество вызовов в секунду. хочу просто в xcom писать последнюю успешно полученную страницу и при повторе продолжать уже с неё
источник

ФЧ

Филипп Чистяков... in Airflow
Тоже идея
источник

SC

Stanislav Chernov in Airflow
А я бы лучше в какой нибудь config.json записывал инфу и читал при следующем запуске ...
источник

SC

Stanislav Chernov in Airflow
Сейчас как раз что-то подобное делаю для bitrix24 и его api
источник

ФЧ

Филипп Чистяков... in Airflow
источник

ФЧ

Филипп Чистяков... in Airflow
Но я сделал уже через skipped
источник

DP

Dmitriy Pyrin in Airflow
Подкажите, плиз, где лежат все логи и данные xcom как их достать? у меня их в airflow куча, а вот в БД их найти не могу, сущность xcom вообще пустая
источник

ME

Max Efremov in Airflow
логи в папке логов
источник

ME

Max Efremov in Airflow
xcom скорее всего в базе
источник

ME

Max Efremov in Airflow
источник

ME

Max Efremov in Airflow
Вот табличка
источник

A

Alex in Airflow
ti.xcom_push(), ti.xcom_pull()
источник

DP

Dmitriy Pyrin in Airflow
источник

DP

Dmitriy Pyrin in Airflow
вот я получил доступ к логам в базе, но когда подключась к этой базе дибивером например эта таблица пустая
источник

SC

Stanislav Chernov in Airflow
Проверьте права пользователя под которым заходите в базу, скорее всего в этом дело...
А мб это вьюшка ...
источник

DP

Dmitriy Pyrin in Airflow
psql -h localhost -U airflow -p 5432 -W
вот конекчусь в контейнере по таким юзером, пытаюсь приконектися под этим же пользователем из вне подключаюсь, но данных нет..
источник

A

Anton in Airflow
Подскажите в каких случаях стоит увеличивать количество воркеров для webserver и scheduler

Используем CelleryExecutor на одной машине но в планах подключать еще одну.
источник