В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

873 membersпожаловаться на группу
2020 August 05

BB

Bral Bral in Airflow
Mikhail
если этот функционал не нужен, зачем вообще airflow? напишите скрипт на питоне и выполняйте через cron
Ага, и масштабировать мне тоже все руками через селери? Тут все из коробки и все устраивает , за исключением этого нюанса .
источник
19:11пожаловаться#1

M

Mikhail in Airflow
Dmitry Samoylov
Если у тебя все выполняется на одной машине - можешь теоретически передать ссылку на блок памяти и ходить по ней.
тут у всех так на работе)
источник
19:11пожаловаться#2

M

Mikhail in Airflow
Dmitry Samoylov
Если у тебя все выполняется на одной машине - можешь теоретически передать ссылку на блок памяти и ходить по ней.
память очистится гарбыч коллектером после выполнения дагфайла
источник
19:12пожаловаться#3

M

Mikhail in Airflow
вс
источник
19:12пожаловаться#4

BB

Bral Bral in Airflow
Mikhail
память очистится гарбыч коллектером после выполнения дагфайла
У меня в рамках одного дага все.
источник
19:12пожаловаться#5

DS

Dmitry Samoylov in Airflow
Bral Bral
Ага, и масштабировать мне тоже все руками через селери? Тут все из коробки и все устраивает , за исключением этого нюанса .
как раз таки масштабирование за счет таких нюансов и можно нормально сделать
источник
19:12пожаловаться#6

M

Mikhail in Airflow
Bral Bral
У меня в рамках одного дага все.
и что?
источник
19:12пожаловаться#7

M

Mikhail in Airflow
дайгфайл выполняется в каждом цикле шедулера
источник
19:13пожаловаться#8

BB

Bral Bral in Airflow
Mikhail
и что?
>> память очистится после выполнения дагфайла
источник
19:13пожаловаться#9

M

Mikhail in Airflow
Obj = etl(). В init этого класса есть self.dataframe , который изначально пустой.
у вас init выполняется перед запуском каждой таски
источник
19:13пожаловаться#10

M

Mikhail in Airflow
таски видят не один и тот же объект
источник
19:13пожаловаться#11

M

Mikhail in Airflow
если утрированно, то airflow запускает такой скрипт:
источник
19:14пожаловаться#12

BB

Bral Bral in Airflow
Mikhail
таски видят не один и тот же объект
Ох, и это никак не обойти ?
источник
19:14пожаловаться#13

M

Mikhail in Airflow
from dags.your_dag import task

task.execute()
источник
19:14пожаловаться#14

M

Mikhail in Airflow
импорт каждый раз происходит
источник
19:15пожаловаться#15

M

Mikhail in Airflow
Bral Bral
Ох, и это никак не обойти ?
записыванием промежуточного результата в какой-то persistent storage
источник
19:15пожаловаться#16

M

Mikhail in Airflow
обычно табличные данные пишут в БД, либо в файл на S3, либо на диск, если всё на одной машине
источник
19:15пожаловаться#17

BB

Bral Bral in Airflow
Mikhail
записыванием промежуточного результата в какой-то persistent storage
Нет, нет, я имел ввиду без этого. Вообще не совсем прозрачно, особенно нахождение операторов в одном .py файле и тут внезапно память у них не расширенная .
источник
19:17пожаловаться#18

M

Mikhail in Airflow
ну как она может быть общая, если таски выполняются в разных процессах, либо вообще на разных компьютерах
источник
19:17пожаловаться#19

M

Mikhail in Airflow
Bral Bral
Нет, нет, я имел ввиду без этого. Вообще не совсем прозрачно, особенно нахождение операторов в одном .py файле и тут внезапно память у них не расширенная .
непрозрачно, потому что вы все еще мыслите питон-скриптами, которые запускаются и работают какое-то время
шедулер не так работает
источник
19:18пожаловаться#20