В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

865 membersпожаловаться на группу
2020 July 23

AA

Anton Afonin in Airflow
Sabir
Yes I'm going to use MySQL server to store metadata of Airflow. And explicit flag of SQL Server should be turn on to initialize Airflow database. But I have other databases as well in that server that will affect if I turn the flag to on. That's the issue.
Maybe python virtualenv separate that variable to?)
источник
20:26пожаловаться#1

DS

Dimitriy Scherbenko in Airflow
Aлексей Mатюхин
У Вас в состоянии off
Спасибо, думал, этот параметр на влияет, если запускать из консоли
источник
22:51пожаловаться#2
2020 July 25

BB

Bral Bral in Airflow
Что используете для дебага дагов? Debug executor через ide? А аирфлоу в контейнере или нет ? У меня винда 10, хочу дебажить через пайчарм. В приоритете аирфлоу запустить в контейнере . Что в голову пришло - поднять контейнер докера и подключить его как ssh интерпретатор, а туда установить аирфлоу. Какие вообще бест практисы ?
источник
11:06пожаловаться#3

VB

Valentin Boltach in Airflow
Bral Bral
Что используете для дебага дагов? Debug executor через ide? А аирфлоу в контейнере или нет ? У меня винда 10, хочу дебажить через пайчарм. В приоритете аирфлоу запустить в контейнере . Что в голову пришло - поднять контейнер докера и подключить его как ssh интерпретатор, а туда установить аирфлоу. Какие вообще бест практисы ?
https://medium.com/@andrewhharmon/apache-airflow-using-pycharm-and-docker-for-remote-debugging-b2d1edf83d9d
Medium
Apache Airflow — Using PyCharm and Docker for remote debugging
Debugging Airflow can be a bit tricky but popular IDE’s such as PyCharm can help make it easier to step through DAG code and custom code…
источник
12:24пожаловаться#4

PA

Panchenko Andrey in Airflow
Так это проф версия пайчарма
источник
12:44пожаловаться#5

M

Mikhail in Airflow
Bral Bral
Что используете для дебага дагов? Debug executor через ide? А аирфлоу в контейнере или нет ? У меня винда 10, хочу дебажить через пайчарм. В приоритете аирфлоу запустить в контейнере . Что в голову пришло - поднять контейнер докера и подключить его как ssh интерпретатор, а туда установить аирфлоу. Какие вообще бест практисы ?
Ну у нас есть компоуз файл который поднимает локальную среду и подключается к тестовой базе
источник
13:01пожаловаться#6

M

Mikhail in Airflow
Дальше exec и test
источник
13:01пожаловаться#7

BB

Bral Bral in Airflow
Спасибо, то, что нужно .
источник
13:46пожаловаться#8

DT

Dmitry Tataurov in Airflow
Привет. Есть тут те, кто успел поюзать Prefect? Интересует обмен опытом.
источник
15:28пожаловаться#9

マサ

マキシム サモイロフ... in Airflow
Может кто-нибудь тут разбирался в логировании airflow при запуске initdb? Под капотом initdb запускает миграции через alembic с конфигом alembic.ini, который просто уничтожает все логирование, которое было настроено до него. Есть ли способ бороться с таким дефолтным поведением?
источник
18:42пожаловаться#10
2020 July 26

VS

Vladislav 👻 Shishkov... in Airflow
マキシム サモイロフ
Может кто-нибудь тут разбирался в логировании airflow при запуске initdb? Под капотом initdb запускает миграции через alembic с конфигом alembic.ini, который просто уничтожает все логирование, которое было настроено до него. Есть ли способ бороться с таким дефолтным поведением?
А там логирование чего?
источник
15:49пожаловаться#11

VS

Vladislav 👻 Shishkov... in Airflow
Вроде как все логирование airflow в airflow.cfg прописывается
источник
15:50пожаловаться#12

GG

George Gaál in Airflow
マキシム サモイロフ
Может кто-нибудь тут разбирался в логировании airflow при запуске initdb? Под капотом initdb запускает миграции через alembic с конфигом alembic.ini, который просто уничтожает все логирование, которое было настроено до него. Есть ли способ бороться с таким дефолтным поведением?
Не понимаю проблемы, опиши подробнее
источник
15:50пожаловаться#13

GG

George Gaál in Airflow
Инитдб же нужен только при первом старте вроде (?)
источник
15:50пожаловаться#14

VS

Vladislav 👻 Shishkov... in Airflow
При апгрейде еще, но там уже вроде сделали upgradedb, хотя я лично не нашел отличий...
источник
15:51пожаловаться#15

マサ

マキシム サモイロフ... in Airflow
George Gaál
Инитдб же нужен только при первом старте вроде (?)
Мы запускаем dag.run для локального тестирования дагов, поднимаем для этого локальный екзекьютор без вебсервера и шедулера. Инитдб нужен, чтобы проинициализировать конфигурацию airflow, коннекшены сделать и все такое. Таски нормально запускаются, но в них не работает логирование, которое на нашем основном инстансе airflow нормально работает (через стандартный logging.info)
источник
16:21пожаловаться#16

GG

George Gaál in Airflow
Vladislav 👻 Shishkov
Вроде как все логирование airflow в airflow.cfg прописывается
👆?
источник
16:21пожаловаться#17

GG

George Gaál in Airflow
версия та же самая ?
источник
16:21пожаловаться#18

VS

Vladislav 👻 Shishkov... in Airflow
Конфиг
источник
16:22пожаловаться#19

マサ

マキシム サモイロフ... in Airflow
Конфиг самый дефолтный
источник
16:30пожаловаться#20