В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1014 membersпожаловаться на группу
2020 November 09

R

Roman in Airflow
Т.е. если за 15 минут изменилось несколько файлов, то вы хотите забрать только свежайший из них. Но если не изменилось ни одного - то забирать вообще не нужно?
Если так, сравнивайте просто что разница execution_date дага и mtime файла > 0 & <= 15 min
источник
17:47пожаловаться#1

Н

Никита in Airflow
а зачем отдельная бд? так как берется всегда только последний, то имя файла можно положить в variables
источник
17:49пожаловаться#2

Н

Никита in Airflow
* получаем список
* ищем последний
* сравниваем с сохраненным в variables
* если отличается - качаем и сохраняем новую метку в вариаблс
источник
17:51пожаловаться#3

SG

Sergey Gavrilov in Airflow
Никита
а зачем отдельная бд? так как берется всегда только последний, то имя файла можно положить в variables
Это сработает ровно 1 раз. Никакого перезапуска, обогащения и изменений, все поползновения в ту или иную сторону через ручное удаление и пересоздание дага.
источник
18:06пожаловаться#4

Н

Никита in Airflow
эммм. я так в variables сохраняю дату последнего запуска синхронизации
источник
18:16пожаловаться#5

SG

Sergey Gavrilov in Airflow
sticker.webp
(42.78 Кб)
источник
18:29пожаловаться#6
2020 November 10

К

Кристина in Airflow
Добрый день:) подскажите пожалуйста как можно реализовать в даге error_handling ? Можно ли сохранять в переменную ошибку или есть какой то макрос?
источник
15:24пожаловаться#7

SG

Sergey Gavrilov in Airflow
Кристина
Добрый день:) подскажите пожалуйста как можно реализовать в даге error_handling ? Можно ли сохранять в переменную ошибку или есть какой то макрос?
Опыт подсказывает, что лучше в callback-е писать обработку
источник
15:28пожаловаться#8

GB

Georgy Borodin in Airflow
Кристина
Добрый день:) подскажите пожалуйста как можно реализовать в даге error_handling ? Можно ли сохранять в переменную ошибку или есть какой то макрос?
Можно сентри подключить на отлов, недавно завели и радости нет предела
источник
15:41пожаловаться#9

ME

Max Efremov in Airflow
Кристина
Добрый день:) подскажите пожалуйста как можно реализовать в даге error_handling ? Можно ли сохранять в переменную ошибку или есть какой то макрос?
on_success_callback
on_failure_callback
Хотя это больше алерты о состояниях дага
источник
16:02пожаловаться#10

AB

Andrey Bodosov in Airflow
Добрый вечер. Если мне оператор возвращает следующую ошибку AttributeError: 'FTPHook' object has no attribute 'retrlines' что я делаю не так? При этом, смотрю код FTPHook и там retrlines вызывается для объекта conn. А соответственно в реализации airflow.models.connection
retrlines не обнаружен. В каком месте вкралась ошибка?
источник
18:40пожаловаться#11

Y

Yury in Airflow
Привет! можете помочь с монтированием папки для докер образа через docker-compose.yml на centos. При попытки примонтировать папку весь контейнер падает в ошибку
источник
19:09пожаловаться#12

ME

Max Efremov in Airflow
Yury
Привет! можете помочь с монтированием папки для докер образа через docker-compose.yml на centos. При попытки примонтировать папку весь контейнер падает в ошибку
volumes:
    - ./mnt/airflow/dags:/usr/local/airflow/dags
так?)
источник
19:29пожаловаться#13

OI

Oleg Ilinsky in Airflow
Andrey Bodosov
Добрый вечер. Если мне оператор возвращает следующую ошибку AttributeError: 'FTPHook' object has no attribute 'retrlines' что я делаю не так? При этом, смотрю код FTPHook и там retrlines вызывается для объекта conn. А соответственно в реализации airflow.models.connection
retrlines не обнаружен. В каком месте вкралась ошибка?
Так там метод, а вы туда параметр передаёте 🤔
Или я не так понял вопрос?
источник
19:31пожаловаться#14

Y

Yury in Airflow
Max Efremov
volumes:
    - ./mnt/airflow/dags:/usr/local/airflow/dags
так?)
у меня так же
источник
20:26пожаловаться#15

ME

Max Efremov in Airflow
а каталоги все есть, /mnt/airflow/dags?
источник
20:27пожаловаться#16

Y

Yury in Airflow
Max Efremov
volumes:
    - ./mnt/airflow/dags:/usr/local/airflow/dags
так?)
Но проблема все равно есть. Нужно ли давать на centos доп права? сейчас стоит 777. Нужно ли делать еще что-то например mount
источник
20:27пожаловаться#17

Y

Yury in Airflow
Max Efremov
а каталоги все есть, /mnt/airflow/dags?
папка mnt в той же папке что и docker-compose. Да там все данные есть
источник
20:28пожаловаться#18

IS

Ihar Shurupau in Airflow
Andrey Bodosov
Добрый вечер. Если мне оператор возвращает следующую ошибку AttributeError: 'FTPHook' object has no attribute 'retrlines' что я делаю не так? При этом, смотрю код FTPHook и там retrlines вызывается для объекта conn. А соответственно в реализации airflow.models.connection
retrlines не обнаружен. В каком месте вкралась ошибка?
подозреваю, что вы пытаетесь вызвать hook.retrlines(), а вам скорее всего нужно вызывать hook.get_conn().retrlines()
источник
20:34пожаловаться#19

ME

Max Efremov in Airflow
Наверно прав не хватает, там на всём 777?
источник
22:45пожаловаться#20