Телеграмм чат группы ruairflow страница 1229

у меня подозрение на то что как то некорректно считывается строка с коннектом

13:46пожаловаться #1

P

Pavel in Airflow

Ivan Kizimenko

в чем может быть проблема?
AIrflow в докере, Постгресс для бэкенда тоже, сеть одна. если в SQL_ALCHEMY_CONN вписываю ip то все ок, если вписываю имя контейнера то не может подключиться

Если локально для разработки, то забейте, пишите ip, если прод окружение, отдайте тому, кто умеет докер и расслабьтесь))

17:58пожаловаться #2

IK

Универсальный ответ для stackoverflow : отдай тому кто умеет и расслабься

18:07пожаловаться #3

P

Pavel in Airflow

Ivan Kizimenko

Универсальный ответ для stackoverflow : отдай тому кто умеет и расслабься

Ну рыли)) че за окружение у вас, че за конфиг сети, локалхост или впн офисный, тип запуска контейнера, докер композ или просто docker run...

18:44пожаловаться #4

2020 December 06

C

Combot in Airflow

Добро пожаловать в самое дружелюбное комьюнити.

10:14пожаловаться #5

IK

Кто нибудь тестировал airflow 2 ? Жизнеспособна она сейчас или еще нет. Я думаю может с нее начать внедрение

21:25пожаловаться #6

T

Есть у кого-нить инструкция по установке помимо официальной документации? Попробовал ставить и на centos и на ubuntu версии airflow c 9 по 12. У каждого способа какие то ошибки во время установки связаные с зависимостями тех или ных пакетов. Если попробовать их исправить, то установленный airflow теряет какой-то функционал. А в некоторых случаях иногда просто падает при загрузке дагов.

23:01пожаловаться #7

IK

Tumchik

Есть у кого-нить инструкция по установке помимо официальной документации? Попробовал ставить и на centos и на ubuntu версии airflow c 9 по 12. У каждого способа какие то ошибки во время установки связаные с зависимостями тех или ных пакетов. Если попробовать их исправить, то установленный airflow теряет какой-то функционал. А в некоторых случаях иногда просто падает при загрузке дагов.

В докере поднять?

23:17пожаловаться #8

T

Ivan Kizimenko

В докере поднять?

это на сладкое оставил, если нет других рецептов.

23:18пожаловаться #9

2020 December 07

VS

Vladislav 👻 Shishkov... in Airflow

Tumchik

Есть у кого-нить инструкция по установке помимо официальной документации? Попробовал ставить и на centos и на ubuntu версии airflow c 9 по 12. У каждого способа какие то ошибки во время установки связаные с зависимостями тех или ных пакетов. Если попробовать их исправить, то установленный airflow теряет какой-то функционал. А в некоторых случаях иногда просто падает при загрузке дагов.

Посмотреть ошибки и исправить, в 1.10.10 вроде было только два пакета касячных в зависимостях

00:57пожаловаться #10

T

Vladislav 👻 Shishkov

Посмотреть ошибки и исправить, в 1.10.10 вроде было только два пакета касячных в зависимостях

Если внимательно прочитать текст моего сообщения, то можно увидеть фразу, которая будет являться ответом на ваше предложение.

01:05пожаловаться #11

VS

Vladislav 👻 Shishkov... in Airflow

Вот только исправление не нарушает функционал

Дмитрий Негреев... in Airflow

01:07пожаловаться #12

ДН

подскажите где почитать про настройку кубэкзекутора?
что-то в доках только общий обзор, а про настройку pod template и всего другого ничего нет

Дмитрий Негреев... in Airflow

07:09пожаловаться #13

ДН

и сразу в догонку еще такой вопрос, логично ли отвозить в отдельные поды очень мелкие задачи (например 16 тасков на воркере селери кушают всего 200 милликоров пода), есть подозрение что 15 милликоров реквестов каждому поду будет мало, если прям по такой же математике считать

07:12пожаловаться #14

AA

Anton Afonin in Airflow

Tumchik

Есть у кого-нить инструкция по установке помимо официальной документации? Попробовал ставить и на centos и на ubuntu версии airflow c 9 по 12. У каждого способа какие то ошибки во время установки связаные с зависимостями тех или ных пакетов. Если попробовать их исправить, то установленный airflow теряет какой-то функционал. А в некоторых случаях иногда просто падает при загрузке дагов.

У меня есть инструкция к 1.10.10, но единственная хитрость - вкерсия питона не выше 3.7

10:02пожаловаться #15

AA

Anton Afonin in Airflow

Но с тех пор версии пакетов могли поменяться

10:02пожаловаться #16

T

Anton Afonin

У меня есть инструкция к 1.10.10, но единственная хитрость - вкерсия питона не выше 3.7

Скинь, пожалуйста, попробую адаптировать. С этой версионностью самая боль.

10:06пожаловаться #17

P

Pavel in Airflow

Дмитрий Негреев

и сразу в догонку еще такой вопрос, логично ли отвозить в отдельные поды очень мелкие задачи (например 16 тасков на воркере селери кушают всего 200 милликоров пода), есть подозрение что 15 милликоров реквестов каждому поду будет мало, если прям по такой же математике считать

В реально жизни почти ничего не заработает с 15 вашими «милликорами»

11:28пожаловаться #18

ME

Max Efremov in Airflow

А база у 1.10.10 и 1.10.13 отличается?

11:40пожаловаться #19

ME

Max Efremov in Airflow

Просто так вернуться с 13 на 10 можно?