Телеграмм чат группы ruairflow страница 1318

Size: a a a

Airflow

2021 February 17

ФЧ

И соответственно сейчас airflow не видите базы по 127.0.0.1

Airflow dag запускаю из консоли pycharma , а не через шедулер

источник

13:12пожаловаться #1

Max Efremov in Airflow

Филипп Чистяков

И соответственно сейчас airflow не видите базы по 127.0.0.1

Airflow dag запускаю из консоли pycharma , а не через шедулер

а так можно разве?

источник

13:15пожаловаться #2

Georgy Borodin in Airflow

Филипп Чистяков

Ребят. Помогите разобраться.

Airflow локальный на машине с убунтой. У него отдельный venv.

Айпи локальной машины 127.0.0.1

Айпи который я получаю при запуске airflow

logging.info(socket.gethostbyname(socket.gethostname()))

127.0.1.1

Вопрос: что я делаю не так?

Первый тост за локалхост

источник

13:15пожаловаться #3

ФЧ

Филипп Чистяков... in Airflow

Походу через pycharm другой айпишник)

источник

13:16пожаловаться #4

Georgy Borodin in Airflow

Филипп Чистяков

Походу через pycharm другой айпишник)

Можно попробовать обратиться по localhost или 0.0.0.0

источник

13:17пожаловаться #5

Max Efremov in Airflow

Мне кажется, проще поднять всё в докере, пробросить даг бэг и не мучаться)

источник

13:24пожаловаться #6

Max Efremov in Airflow

У нас такое и для девелопмента сделано и на проде гоняется в докере тоже

источник

13:24пожаловаться #7

ФЧ

Филипп Чистяков... in Airflow

Разобрался.

источник

13:29пожаловаться #8

ФЧ

Филипп Чистяков... in Airflow

пытался заканектиться к "jdbc:exa:localhost:8563" а нужно "localhost:8563"

источник

13:30пожаловаться #9

Ivan Kolemasov in Airflow

Привет, народ!

Кто-нибудь сталкивался,
когда spark-submit pyspark-приложения на сервере с Аирфлоу (из-под соответствующего окружения) - работает, а если обернуть в Bash-operator - джоба не сабмитится, падает с ошибкой по синтаксису питона
?
Куда подсмотреть, что подпилить?

источник

14:13пожаловаться #10

Max Efremov in Airflow

Может ошибка в синтаксисе питона?

источник

14:17пожаловаться #11

Max Efremov in Airflow

которым запускают джобу

источник

14:17пожаловаться #12

Ivan Kolemasov in Airflow

Max Efremov

Может ошибка в синтаксисе питона?

так я один и тот файл сабмичу
1. чисто из терминала в окружении Аирфлоу - spark-submit ... file.py
2. оборачиваю туже команду в bash-operator, пытаюсь запустить из-под ДАГа

1. работает, сабмитится
2. синтаксическая ошибка на уровне f-string в коде

источник

14:22пожаловаться #13

Max Efremov in Airflow

Может там питон старый?)

источник

14:27пожаловаться #14

Max Efremov in Airflow

Я таким страдаю, что пишу f строки, а в EMR второй питон(

источник

14:27пожаловаться #15

Max Efremov in Airflow

Они оба в кластере работает?