Size: a a a

2020 December 30

MV

Maxim Vigovsky in Airflow
Все зависит от того, что Вам нужно
источник

А

Андрей in Airflow
Maxim Vigovsky
Можно посмотреть функции chunked и insert_many, возможно подойдут
Спасибо посмотрю. По названиям похоже на то что надо. Реализацию надо смотреть.
источник

MV

Maxim Vigovsky in Airflow
Андрей
Спасибо посмотрю. По названиям похоже на то что надо. Реализацию надо смотреть.
Попробуйте. Это очень простая многопоточная orm. Когда не нужно разных сложных вещей, на которые алхимия заточена - очень достойный кандидат.
источник

MV

Maxim Vigovsky in Airflow
Единственное, будьте внимательны, если у Вас в схеме есть отношения с составным ключем. У peewee нет нативных механизмов для работы с ними. Вернее, определять можно, через мету, но дальше не проработано. Поэтому для таких отношений приходится использовать суроогатный ключ.
источник

MV

Maxim Vigovsky in Airflow
С какими-то иными проблемами в этой orm я не сталкивался
источник

KP

Konstantin Petrov in Airflow
только что развернул Airflow где можно посмотреть примеры как запустить с крипты на обработку? У меня сбор из апи, трансформация и положить в базу
источник

IK

Ivan Kizimenko in Airflow
на ютубе
источник

IK

Ivan Kizimenko in Airflow
куча индусов =)
источник

KP

Konstantin Petrov in Airflow
😅 так вот зачем чатик)))
источник

А

Андрей in Airflow
Konstantin Petrov
только что развернул Airflow где можно посмотреть примеры как запустить с крипты на обработку? У меня сбор из апи, трансформация и положить в базу
там же еще примеры дагов есть. если в конфиге load_examples=true
источник

KP

Konstantin Petrov in Airflow
да может кто то уже давно в блоге описал, вот и спросил
источник

m

mkalinin in Airflow
Всем привет. Кто подскажет как вывести стату по текущим дагам на какой нибудь порт, чтобы на него мониторинг повесить?
Если есть более эффективный вариант (более шустрый, больше возможностей для настройки мониторинга статусов), буду рад полезной ссылке )
источник

А

Андрей in Airflow
mkalinin
Всем привет. Кто подскажет как вывести стату по текущим дагам на какой нибудь порт, чтобы на него мониторинг повесить?
Если есть более эффективный вариант (более шустрый, больше возможностей для настройки мониторинга статусов), буду рад полезной ссылке )
Метрики поддерживаются StatsD
источник

VR

Vadim Rufov in Airflow
mkalinin
Всем привет. Кто подскажет как вывести стату по текущим дагам на какой нибудь порт, чтобы на него мониторинг повесить?
Если есть более эффективный вариант (более шустрый, больше возможностей для настройки мониторинга статусов), буду рад полезной ссылке )
привет. а flower смотрел? он вроде покрывает большинство кейсов по мониторингу.
источник

MS

Maksim S. in Airflow
Привет, всех с наступающим, кто-то может понятнее объяснить за что отвечает параметр в airfow.cfg

# Whether to disable pickling dags
donot_pickle = False


Погуглив нашел несколько ответов, но полной ясности так и не дало.
источник

SG

Sergey Gavrilov in Airflow
Maksim S.
Привет, всех с наступающим, кто-то может понятнее объяснить за что отвечает параметр в airfow.cfg

# Whether to disable pickling dags
donot_pickle = False


Погуглив нашел несколько ответов, но полной ясности так и не дало.
Может кто-то позже ответит более полно, но насколько я знаю, это настройка, которая позволяет сохранять даги в виде питоновых объектов (пиклить) и скидывать воркеру / шедулеру.
источник

P

Pavel in Airflow
Vadim Rufov
привет. а flower смотрел? он вроде покрывает большинство кейсов по мониторингу.
Фловер абсолютно не для людей поделка
источник

SG

Sergey Gavrilov in Airflow
Pavel
Фловер абсолютно не для людей поделка
+++(+)
источник

P

Pavel in Airflow
mkalinin
Всем привет. Кто подскажет как вывести стату по текущим дагам на какой нибудь порт, чтобы на него мониторинг повесить?
Если есть более эффективный вариант (более шустрый, больше возможностей для настройки мониторинга статусов), буду рад полезной ссылке )
Prometheus metric exporter
источник

m

mkalinin in Airflow
Андрей
Метрики поддерживаются StatsD
В доке поискать statsd?
источник