В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1066 membersпожаловаться на группу
2020 December 25

ИК

Илья Китов in Airflow
Sergey Gavrilov
Вы не смогли найти, потому что с такой формулировкой не очень понятно, что надо делать. Просто делать бэкап-рестор, выгрузку в файл, всё в памяти? Всю таблицу разам, по частям, как делить?
Таблица большая или маленькая? Если большая, то без ответа на вышеидущие вопросы ничего у вас не выйдет, если маленькая, то в чём проблема? И т.д.
не усложняйте)

Я пытаюсь найти самый простой пример Дага, который к примеру из таблицы в Oracle переносит данную в идентичную таблицу Oracle, записей мало, просто пару строк. Просто для примера, так как в airflow только вникаю. Не обязательно оракл, не обязательно один в один, просто понять как это работает, желательно с трансформацией какой-то, прям чтобы ETL был
источник
11:05пожаловаться#1

IK

Ivan Kizimenko in Airflow
Илья Китов
не усложняйте)

Я пытаюсь найти самый простой пример Дага, который к примеру из таблицы в Oracle переносит данную в идентичную таблицу Oracle, записей мало, просто пару строк. Просто для примера, так как в airflow только вникаю. Не обязательно оракл, не обязательно один в один, просто понять как это работает, желательно с трансформацией какой-то, прям чтобы ETL был
https://github.com/apache/airflow/tree/master/airflow/example_dags
GitHub
apache/airflow
Apache Airflow - A platform to programmatically author, schedule, and monitor workflows - apache/airflow
источник
11:09пожаловаться#2

M

Mikhail in Airflow
Илья Китов
не усложняйте)

Я пытаюсь найти самый простой пример Дага, который к примеру из таблицы в Oracle переносит данную в идентичную таблицу Oracle, записей мало, просто пару строк. Просто для примера, так как в airflow только вникаю. Не обязательно оракл, не обязательно один в один, просто понять как это работает, желательно с трансформацией какой-то, прям чтобы ETL был
а репликации таблиц нету в оракле?
источник
11:09пожаловаться#3

SG

Sergey Gavrilov in Airflow
Илья Китов
не усложняйте)

Я пытаюсь найти самый простой пример Дага, который к примеру из таблицы в Oracle переносит данную в идентичную таблицу Oracle, записей мало, просто пару строк. Просто для примера, так как в airflow только вникаю. Не обязательно оракл, не обязательно один в один, просто понять как это работает, желательно с трансформацией какой-то, прям чтобы ETL был
Ну тогда это просто oracleoperator с селектом о_О
источник
11:12пожаловаться#4

ИК

Илья Китов in Airflow
Mikhail
а репликации таблиц нету в оракле?
Ну есть конечно, Я же как пример указал, чтобы глянуть как Даг работает, конкретно такой задачи не стоит) можно поменять на пример из оракл в постргре, главное из базы в базу)
источник
11:12пожаловаться#5

IK

Ivan Kizimenko in Airflow
если базы на разных машинах, то слил данные во временное хранилище/файл, потом залил в нужную
источник
11:17пожаловаться#6

ИК

Илья Китов in Airflow
Ivan Kizimenko
если базы на разных машинах, то слил данные во временное хранилище/файл, потом залил в нужную
А в памяти он не хранит?
источник
11:19пожаловаться#7

VS

Vladislav 👻 Shishkov... in Airflow
читаешь батчем, пишешь батчем
источник
11:19пожаловаться#8

IK

Ivan Kizimenko in Airflow
хранит это если в рамках одного таска, если между тасками то надо Xcom, а там есть лимит на объем
источник
11:19пожаловаться#9

ИК

Илья Китов in Airflow
О как, теперь вся мазайка сложилась
источник
11:20пожаловаться#10

ИК

Илья Китов in Airflow
Я не правильно интерпритировал для себя этот инструмент
источник
11:20пожаловаться#11

IK

Ivan Kizimenko in Airflow
если задача простая то можешь сделать тупо 1 таск который и вытащит и положит в другую бд =)
источник
11:20пожаловаться#12

ИК

Илья Китов in Airflow
Ну да, проще тогда так и делать
источник
11:21пожаловаться#13

ИК

Илья Китов in Airflow
Это же можно тогда python оператором просто прописать
источник
11:21пожаловаться#14

IK

Ivan Kizimenko in Airflow
да
источник
11:21пожаловаться#15

ИК

Илья Китов in Airflow
Ivan Kizimenko
https://github.com/apache/airflow/tree/master/airflow/example_dags
GitHub
apache/airflow
Apache Airflow - A platform to programmatically author, schedule, and monitor workflows - apache/airflow
А вот эти экзамплы по умолчанию с ним идут? А то я какой то image скачал, где примеров не было
источник
11:23пожаловаться#16

YT

Yury Trostin in Airflow
всем привет
я тут в UI сервера эирфлоу обнаружил очень давно висящие Jobs
источник
11:23пожаловаться#17

YT

Yury Trostin in Airflow
вопрос: влияет ли это на что-то и если да, то как их убить ?
источник
11:23пожаловаться#18

IK

Ivan Kizimenko in Airflow
ну это же по сути запись в бд просто, надо наверно по логам посмотреть чтоб там ничего лишнего
источник
11:27пожаловаться#19

SZ

Sergey Zhuravlev in Airflow
Илья Китов
А вот эти экзамплы по умолчанию с ним идут? А то я какой то image скачал, где примеров не было
Если ставить в venv по офф инструкции то они стоят по умолчанию. Если сторонний докер образ то может и не быть
источник
11:44пожаловаться#20