В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

923 membersпожаловаться на группу
2020 August 31

ДН

Дмитрий Негреев... in Airflow
Wooo oood
Даги с башоперктором из стандартных примеров выполняются(запускал example_skip_dag), а те, что были созданы мной с pythonoperator меняют статус с scheduled на queued и обратно. Предлагаемые в  task instance details переменные изменены на очень большие, чтобы прям наверняка, но и это не дало результатов... Какие могут быть варианты?
Лебовски, где код?
источник
15:47пожаловаться#1

PA

Panchenko Andrey in Airflow
А можешь чуть ниже опустить а то не видно
источник
15:49пожаловаться#2

Р

Роман in Airflow
Ребята, как можно даг заставить работать по датам из массива? т.е. мне нужно обработать старые даты и они не упорядочены
источник
15:52пожаловаться#3

ДН

Дмитрий Негреев... in Airflow
Роман
Ребята, как можно даг заставить работать по датам из массива? т.е. мне нужно обработать старые даты и они не упорядочены
Backfill?
источник
16:10пожаловаться#4

Р

Роман in Airflow
🤷‍♂️
источник
16:11пожаловаться#5

C

Combot in Airflow
Total messages: 24333
источник
16:24пожаловаться#6

Wo

Wooo oood in Airflow
Дмитрий Негреев
Лебовски, где код?
Ссылку не даёт прикрепить... Скопипастить прям в чат? О_О
источник
16:24пожаловаться#7

ДН

Дмитрий Негреев... in Airflow
Wooo oood
Ссылку не даёт прикрепить... Скопипастить прям в чат? О_О
Ну, pastebin например
источник
16:26пожаловаться#8

Wo

Wooo oood in Airflow
Не даёт ссылку прикрепить к сообщению
источник
16:27пожаловаться#9

VN

Vova Narovchatskiy in Airflow
Всем привет!
Можно ли настроить использование sparksubmit operator-a без connection_id или придется кастомный оператор писать?
источник
16:39пожаловаться#10

С

Сюткин in Airflow
Wooo oood
Не даёт ссылку прикрепить к сообщению
Молодой еще,3 дня не прошло
источник
17:05пожаловаться#11

С

Сюткин in Airflow
Wooo oood:
там просто перекладываем из екселя в новый эксель, удаляя старые, чтобы сразу в директории видеть изминения https://ideone.com/YyiSX9
источник
17:05пожаловаться#12

ME

Max Efremov in Airflow
Vova Narovchatskiy
Всем привет!
Можно ли настроить использование sparksubmit operator-a без connection_id или придется кастомный оператор писать?
А к чему он будет подключаться, если не знает коннекта?
источник
17:15пожаловаться#13

ME

Max Efremov in Airflow
У нас спарк пайтон оператором запускается через livy)
источник
17:15пожаловаться#14

VN

Vova Narovchatskiy in Airflow
Max Efremov
А к чему он будет подключаться, если не знает коннекта?
А если задать параметры в options/conf?
источник
17:41пожаловаться#15

ME

Max Efremov in Airflow
Vova Narovchatskiy
А если задать параметры в options/conf?
а у него нет вроде параметра хоста, он из коннекта берёт это
источник
17:44пожаловаться#16

ME

Max Efremov in Airflow
https://airflow.apache.org/docs/stable/_api/airflow/contrib/operators/spark_submit_operator/index.html
источник
17:45пожаловаться#17

АС

Алексей Савельев... in Airflow
airflow живет в кубере, пока с внутренней бд, задача быстро сделать персистентное хранение. Решение - подмонтировать внешнюю папку в место хранения  данных. Подскажите, где по дефолту аирфлошный контейнер держит данные БД?
источник
17:58пожаловаться#18

VB

Vladimir Bazarevsky in Airflow
Тебе надо замаунтить хранилище постгреса
источник
22:08пожаловаться#19
2020 September 01

Wo

Wooo oood in Airflow
Сюткин
Wooo oood:
там просто перекладываем из екселя в новый эксель, удаляя старые, чтобы сразу в директории видеть изминения https://ideone.com/YyiSX9
Да, спасибо. То самое
источник
01:09пожаловаться#20