help('smart_open.open')
Будет информация о transport_params

я зачем то полез в boto3 и уже через него все раскопал, а оказалось реально все проще

'resource_kwargs': {
        'endpoint_url': 'https://storage.yandexcloud.net',
    }

Я разобралась, как генерить таски с помощью тех параметров, которые указаны в моем json, но столкнулась с двумя другими проблемами:с

1. » ERROR - decorator() got an unexpected keyword argument 'conf' - не понимаю, что ему не нравится, никакой conf я не использую, оно только выводится в инициирующем джобе как часть **kwargs. Скрин 1 - единственная функция кроме открытия лога, которую я вызываю. Provide_context по умолчанию True. Как понять, откуда берется этот conf?

2. Порядок выполнения: по моей задумке сначала должен вызываться оператор для открытия лога, а потом параллельно все сгенерированные таски. Как записано в файле дага - скрин 2, как выходит на деле - скрин 3. Можно как-то указать зависимость между первым таском и всеми сгенерированными?

в цикле, там где создаете таски динамически, делайте i » pipeline

но для этого i нужно объявить выше

О, я думала, оно так будет для каждого таска сначала запускать i. Это избавило от второй проблемы!

*args, **kwargs в объявление декоратора добавить?

Вопрос отменился, это я ошиблась

Есть вариант как то скрывать папки внутри dag folder ? Чтоб они не попадали под скан

.airflowignore

ага, нагуглил. Спасибо

с чем может быть связано что вебморда отдает 502 ? Только с Airflow такое случается

Эммм, сам airflow отдает 502 или проксирующий сервис?

проксирующий сервис, в моем случае это caddy

просто рядом стоит superset и там нет таких приколов, и я вот думаю  что дело возможно с настройками airflow

Так посмотрите логи

это тоже уже пересмотрел, ладно если это не массовая проблема то буду дальше копать. Я думал что не один с такой проблемой