Я про host

Попробую через extras

я думаю оно само через бото3 всё найдет, нужно только ключ и пароль

Добро пожаловать в самое дружелюбное комьюнити.

раз тут зашёл разговор про логи
нужно подружить airflow и graylog, кто-то сталкивался с таким? думаю, что раз у меня воркеры и план плащик крутятся в докер контейнерах, может писать из лол не в файл, а в stdin и забирать из как-то

Коллеги, доброе утро.
Дописал полный даг, полную цепочку алгоритма.
НА данный момент нужно сделать периодичесикй запуск на проверку файлов на бакете, если все ок то запускается даг, если нет, то будет отдыхать.

Подскажите куда копать насчет периодечкого запуска

А по реализации на данный момент, функционал по проверке файлов на бакете есть в самом даге, то есть если файл нашелся то записываем его в таблицу соответсвующую и идет далее выполнять все блоки функционала независимо будут новые файлы или нет. Есть люди, кто такую штуку реализовывал?

Разобрался с периодическим запуском.

Сейчас вопросик стоит насчет чекера.
Сам чекер у меня в даге, последовательно запускаются и другие питон операторы.

Как сделать так, чтобы не были лишние вычесления? Чтобы программа умела проверять идти дальше для загрузки данных или же нет

Часто делают тогда первый шаг это чекер который или идёт во все тяжкие остальной цепочки или в ветку "ничего не делаем", гуглить branch python operator

Другой вариант если там данные примерно в это время приходят но типа плюс минус десять минут то лучше использовать сенсор: по сути пока callable не вернёт true, будет перезапускаться и не давать пройти дальше по пайплайну

если ничего не путаю, то при настройке выгрузки в elastic там как раз происходит перенаправление всех логов в stdout
теоретически можно rsyslog (или чем там скрейпит грейлог) настроить на скейпинг и все

ShortCircuitOperator лучше подходит, не?

первый шаг у меня чекер

Спасибо, сейчас поизучаю

А что если замутить sql sensor перед всем этим?

после чекера

Чекер и сенсор несут одну и ту же смысловую нагрузку

Вам файлы нужно чекать или таблицу в бд?

Как уже написали коллеги выше, используйте расписание и сенсор таким образом вы покроете вашу задачу

И сенсор это ваш ентри поинт для старта всего дага