В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

857 membersпожаловаться на группу
2020 July 15

GG

George Gaál in Airflow
Aлексей Mатюхин
Добрый день. Есть эирфлоу, которая крутится в докере, установлена на питон 3.6. И есть скрипт питона, который можно запустить только в питон 3.7. Вопрос - можно как-то установить питон 3.7? Или придется собирать новый докер образ, устанавливать туда питон 3.7 и в нем эирфлоу?
вариантов два
источник
12:29пожаловаться#1

GG

George Gaál in Airflow
1. делаешь венв, пакуешь туда свой скрипт, питон 37 и вызываешь через баш оператор
2. обновляешь эйрфлоу до 3.7, фиксишь все проблемы, которые это вызовет, вкидываешь свой скрипт и можешь его хоть напрямую в даге импортнуть, деплоишь
источник
12:30пожаловаться#2

AM

Aлексей Mатюхин... in Airflow
George Gaál
1. делаешь венв, пакуешь туда свой скрипт, питон 37 и вызываешь через баш оператор
2. обновляешь эйрфлоу до 3.7, фиксишь все проблемы, которые это вызовет, вкидываешь свой скрипт и можешь его хоть напрямую в даге импортнуть, деплоишь
А можно немного подробнее про первый вариант, пожалуйста?
источник
12:36пожаловаться#3

AM

Aлексей Mатюхин... in Airflow
Я понял, что у эирфлоу в 3.7 много проблем?
источник
12:37пожаловаться#4

GG

George Gaál in Airflow
Aлексей Mатюхин
Я понял, что у эирфлоу в 3.7 много проблем?
хз, учитывая, что вроде сейчас актуальный питон 3.9
источник
12:37пожаловаться#5

GG

George Gaál in Airflow
Aлексей Mатюхин
А можно немного подробнее про первый вариант, пожалуйста?
ну, что тебе сказать - ты умеешь bashoperator'ом вызывать произвольный исполняемый код ?
источник
12:37пожаловаться#6

AM

Aлексей Mатюхин... in Airflow
George Gaál
ну, что тебе сказать - ты умеешь bashoperator'ом вызывать произвольный исполняемый код ?
Если честно, то нет. Вызывал баш оператором баш скрипты
источник
12:38пожаловаться#7

GG

George Gaál in Airflow
отвечаю - башоператором можно вызывать произвольные бинари
источник
12:39пожаловаться#8

GG

George Gaál in Airflow
дальше дело техники как правильно упаковать скрипт, чтобы ничего не сломалось )
источник
12:40пожаловаться#9

AM

Aлексей Mатюхин... in Airflow
George Gaál
дальше дело техники как правильно упаковать скрипт, чтобы ничего не сломалось )
Спасибо! Пойду разбираться. Примерно понял как.
источник
12:41пожаловаться#10

GG

George Gaál in Airflow
ну, у моего недоинженерного мозга пока нет идей "как это сделать красивее"
источник
12:41пожаловаться#11

GG

George Gaál in Airflow
вроде еще есть https://airflow.apache.org/docs/stable/_modules/airflow/operators/python_operator.html
https://stackoverflow.com/questions/49738173/how-to-run-airflow-pythonoperator-in-a-virtual-environment
но такое себе
Stack Overflow
How to run Airflow PythonOperator in a virtual environment
I have several python files that I'm currently executing using BashOperator. This allows me the flexibility to choose the python virtual environment easily.

from airflow import DAG
from airflow.
источник
12:41пожаловаться#12

AM

Aлексей Mатюхин... in Airflow
George Gaál
ну, у моего недоинженерного мозга пока нет идей "как это сделать красивее"
А еще вопрос, это же достаточно только на воркере сделать?
источник
12:42пожаловаться#13

GG

George Gaál in Airflow
Aлексей Mатюхин
А еще вопрос, это же достаточно только на воркере сделать?
упаковать скрипт - да, bashoperator вызов в даге - на всех контейнерах (если ты в контейнерах)
источник
12:42пожаловаться#14

AM

Aлексей Mатюхин... in Airflow
да, в контейнерах. У меня все контейнеры в одно место смотрят
источник
12:43пожаловаться#15

OI

Oleg Ilinsky in Airflow
Привет!
Вопрос: кто-нибудь писал логи в с3?
Я подкинул конфиги как в https://airflow.apache.org/docs/stable/howto/write-logs.html этом доке. Но ошибок в логах нет, но и логи в с3 не пишутся, а только в контейнер, в котором эирфлоу работает. 🤔
источник
12:44пожаловаться#16

AE

Alexandr Eliseev in Airflow
Oleg Ilinsky
Привет!
Вопрос: кто-нибудь писал логи в с3?
Я подкинул конфиги как в https://airflow.apache.org/docs/stable/howto/write-logs.html этом доке. Но ошибок в логах нет, но и логи в с3 не пишутся, а только в контейнер, в котором эирфлоу работает. 🤔
А таска уже завершилась? Там паблишинг происходит только, когда всё завершится.
источник
12:51пожаловаться#17

E

Edya in Airflow
Oleg Ilinsky
Привет!
Вопрос: кто-нибудь писал логи в с3?
Я подкинул конфиги как в https://airflow.apache.org/docs/stable/howto/write-logs.html этом доке. Но ошибок в логах нет, но и логи в с3 не пишутся, а только в контейнер, в котором эирфлоу работает. 🤔
да, полет нормальный
источник
12:51пожаловаться#18

OI

Oleg Ilinsky in Airflow
Alexandr Eliseev
А таска уже завершилась? Там паблишинг происходит только, когда всё завершится.
У меня уже много тасок завершилось))
источник
12:51пожаловаться#19

OI

Oleg Ilinsky in Airflow
Edya
да, полет нормальный
а кроме этих параметров никаких танцев не нужно?
источник
12:51пожаловаться#20