В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1155 membersпожаловаться на группу
2021 March 16

RL

Roman Lukianov in Airflow
A.K
преимущество графаны в том, что там есть разные роли, есть админ который видит все информации, и пользователь которому можно ограничить другие соурсы
https://www.metabase.com/docs/latest/administration-guide/05-setting-permissions.html

Так везде есть такая возможность. Но дело Ваше.
Metabase
05 Setting Permissions
The fastest, easiest way to share data and analytics inside your company. An open source Business Intelligence server you can install in 5 minutes that connects to MySQL, PostgreSQL, MongoDB and more! Anyone can use it to build charts, dashboards and nightly email reports.
источник
10:08пожаловаться#1

O

Olga in Airflow
Всем привет! Расскажите, пожалуйста, какую среду разработки используете для написания кода дагов? Есть ли что-то, заточенное именно под Airflow (например, чтоб отслеживать ошибки в даге до его загрузки в Airflow)?
источник
10:09пожаловаться#2

VS

Vladislav 👻 Shishkov... in Airflow
A.K
преимущество графаны в том, что там есть разные роли, есть админ который видит все информации, и пользователь которому можно ограничить другие соурсы
Разные роли есть почти везде. Графана в основном про временные ряды, а не про bi, как только вы захотите построить отчет YoY, вы испытаете 100500 боли подготовки данных и построения запросов из графаны. Я уж молчу про клиентское усреднение...
источник
10:19пожаловаться#3

VS

Vladislav 👻 Shishkov... in Airflow
И да, в графане многие нужные вещи по поводу разделения ролей находятся в энтерпрайзе, который стоит как самолет...
источник
10:20пожаловаться#4

А

Антон in Airflow
можно читать эксель файлы через пандас, и через него же писать в базу
и тут есть 2 пути: ELT или ETL
1. читаете и пишете в базу в таблицу с сыряком, и потом уже преобразуете как Вам нужно
2. читаете, преобразуете как Вам нужно, и записываете в базу
источник
10:28пожаловаться#5

А

Антон in Airflow
по поводу ролей и тыды и тыпы - они есть и в суперсете
источник
10:29пожаловаться#6

N

Nikolai in Airflow
Olga
Всем привет! Расскажите, пожалуйста, какую среду разработки используете для написания кода дагов? Есть ли что-то, заточенное именно под Airflow (например, чтоб отслеживать ошибки в даге до его загрузки в Airflow)?
локальный экземпляр airflow для разработки
источник
10:32пожаловаться#7

O

Olga in Airflow
Nikolai
локальный экземпляр airflow для разработки
А код где пишете? Notepad ++?
источник
10:34пожаловаться#8

А

Антон in Airflow
Olga
Всем привет! Расскажите, пожалуйста, какую среду разработки используете для написания кода дагов? Есть ли что-то, заточенное именно под Airflow (например, чтоб отслеживать ошибки в даге до его загрузки в Airflow)?
pycharm
источник
10:34пожаловаться#9

N

Nikolai in Airflow
Olga
А код где пишете? Notepad ++?
кому как нравится, notepad не для меня) можно писать pycharm, vscode, sublimetext
мой выбор vscode, хотя есть купленный pycharm pro
источник
10:39пожаловаться#10

A

Antony in Airflow
Привет
пользуемся пулами для ограничений тасок но тут выясняется что не очень хорошо они работают в 1.10,4
источник
10:56пожаловаться#11

O

Olga in Airflow
Olga
Всем привет! Расскажите, пожалуйста, какую среду разработки используете для написания кода дагов? Есть ли что-то, заточенное именно под Airflow (например, чтоб отслеживать ошибки в даге до его загрузки в Airflow)?
Спасибо за ответы 🙏 Получается, используем стандартные IDE для Python, никаких плагинов для Airflow к ним не существует. Т.е., например, если я забуду задать dag_id при описании дага, то узнаю об этом только при попытке загрузки дага в Airflow. У IDE нет возможностей такие ошибки отследить. Поправьте меня, если я не права )
источник
11:01пожаловаться#12

N

Nikolai in Airflow
Olga
Спасибо за ответы 🙏 Получается, используем стандартные IDE для Python, никаких плагинов для Airflow к ним не существует. Т.е., например, если я забуду задать dag_id при описании дага, то узнаю об этом только при попытке загрузки дага в Airflow. У IDE нет возможностей такие ошибки отследить. Поправьте меня, если я не права )
https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html#testing
источник
11:05пожаловаться#13

O

Olga in Airflow
Nikolai
https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html#testing
Да, тестирование из командной строки тоже пробовала, спасибо.
источник
11:07пожаловаться#14

ME

Max Efremov in Airflow
Olga
Спасибо за ответы 🙏 Получается, используем стандартные IDE для Python, никаких плагинов для Airflow к ним не существует. Т.е., например, если я забуду задать dag_id при описании дага, то узнаю об этом только при попытке загрузки дага в Airflow. У IDE нет возможностей такие ошибки отследить. Поправьте меня, если я не права )
Я дебажу сразу на тестовом серваке :!)
источник
11:08пожаловаться#15

ME

Max Efremov in Airflow
Всё хочу в ci добавить тесты для аирфлоу
источник
11:09пожаловаться#16

DP

Dmitriy Pyrin in Airflow
Коллеги нужна помощь.
Есть задача, нужно трегирить соседний dag, пока он не завершится с нужным событием, сложность в том что шедулер должен работать только раз в сутки и нужно триггерить даг,  до тех пор пока он не выполнится раз в 5 минут в течение часа, если он так и не выполнился, то запуск только по шедулеру на след день.
Если есть идеи, буду раз любой помощи.  airflow 1.10
источник
13:16пожаловаться#17

N

Nikolai in Airflow
Dmitriy Pyrin
Коллеги нужна помощь.
Есть задача, нужно трегирить соседний dag, пока он не завершится с нужным событием, сложность в том что шедулер должен работать только раз в сутки и нужно триггерить даг,  до тех пор пока он не выполнится раз в 5 минут в течение часа, если он так и не выполнился, то запуск только по шедулеру на след день.
Если есть идеи, буду раз любой помощи.  airflow 1.10
почему просто не зашедулить нужный даг и не настроить на нем репиты?
источник
13:18пожаловаться#18

DP

Dmitriy Pyrin in Airflow
требование чтобы он запускался только тригером
источник
13:19пожаловаться#19

N

Nikolai in Airflow
ну даже так, можно репиты там настроить, или я что то не так понимаю?
источник
13:21пожаловаться#20