привет! Впервые вынужден использовать cloud composer + airflow, прошу помощи. Нужно запускать скрипт раз в сутки, который будет доставать все данные из таблицы bigquery, сериализировать в json и загружать их merge запросом в snowflake таблицу. Нашел операторы для чтения из bigquery и для записи в snoflake. У меня 2 вопроса: Как получить данные из bigquery в виде словаря (оператор возвращает кортеж со значениями)? Как связать шаги между собой (узнал про xcom, но как передать значение из bigquery)?

хотел приложить примерный даг, но нет прав в этой беседе(

Добрый Вечер! Еще один вопрос по cloud composer, не подскажите как можно сократить расходы?

В документации в расделе ценообразования сказано, что если использовать К единиц времени в сутки плата бертся только за это время, а по факту плата берется масимальная. Пока тестил дагов не добавлял, работал только предустановленный даг для мониторинга.

Лучше свой оператор написать, который это внутри таски сделает.
Либо чтобы были операторы из bq в s3, и потом из s3 в snowflake

Написал статью по установке Airflow 2.0.1 на debian 10, без кластера, как stand-alone на бд postgress, мб кому пригодится : https://мойблог.рус/?p=36

В эирфлоу не стоит передавать большие объемы данных между тасками, xcom нужны для обмена какими-то параметрами и переменными. Можно в первой таске вычитать данные из bq на диск и положить в xcom путь до файла. А в таске с записью в Snowflake получить значение xcom, прочитать файл, конвертировать в нужный тебе формат и  отправить

Привет!
Есть debian10, я в него примонтировал win-диск на другом сервере, в fstab всё прописано,, на диск под рутом можно зайти и создавать/править файлы..
Но под пользователем airflow - нет прав на этот диск... отправьте куда нить почитать, не могу разобраться как отдельному пользователю выдать права ...

Спасибо!

Через samba примонтировали? Чиайте про ее опции тогда, там вроде можно указать какому пользователю и группе будет принадлежать шара.

Эм... mount cifs .. - это разве самба ?

Это протокол, а реализуется он самбой.

Попробуйте права выставить вот так, если допустимо
mount.cifs //192.168.1.10/share /mnt -o file_mode=0777,dir_mode=0777

Понятно, да, при добавлении прав - получилось

Спасибо

Есть ли ограничения на продолжительность времени запуска таски? Искал airflow long task, но вроде ничего нашел

Если речь о задержке шедулера – с ней ничего не поделаешь программно.
Если речь о времени работы таски – искать нужно airflow sla

Доброго времени суток всем, по какой причине иногда airflow не пишет/видит логи? Никто не сталкивался? Стартует все в docker

Если у меня таска будет работать больше 2 часов, могут ли быть проблемы?

Ну не по причине Airflow

Так обычно, когда логов нет (таска ещё не работала)
Может быть ещё связано со смертью контейнера, с которого пытались "стрясти" логи, но там вроде всегда есть текст ошибки