IK
третий? 3.6+?
да
Size: a a a
2021 February 17
ME
тогда не должен ругаться на f строки)
IK
тогда не должен ругаться на f строки)
так в этом и суть баттхерта
ME
можно попробовать вывести в лог инфу о питоне, путь там, версию, либы и сравнить
ME
мне кажется там разные питоны
ME
и в этом проблема
➔m
А что значит “синтаксическая ошибка на уровне f-string в коде” — он не пишет, какая конкретно?
IK
А что значит “синтаксическая ошибка на уровне f-string в коде” — он не пишет, какая конкретно?
➔m
Так у вас не с f строкой проблема.
➔m
Может, где-то в строку что-то интерполировалось не то и она закрылась раньше времени или скобка съехала по какой-то другой причине
➔m
Нет, вы правы, прошу прощения
➔m
На старом питоне без поддержки f-строк так и выглядит
IK
а может просто несколько spark-submit`ов ...
ME
Может, где-то в строку что-то интерполировалось не то и она закрылась раньше времени или скобка съехала по какой-то другой причине
оно не может выйти, всё что внутри - строка
➔m
оно не может выйти, всё что внутри - строка
Да, тоже верно)
IK
если вывести env в терминале и bash-operator`ом из-под ДАГа - то они разные, скорее этого не должно быть
во втором случае не пробрасывается
PYSPARK_PYTHON и PYSPARK_DRIVER_PYTHON
во втором случае не пробрасывается
PYSPARK_PYTHON и PYSPARK_DRIVER_PYTHON
IK
ничего не понятно, буду разбираться)
IK
Ivan Kolemasov
ничего не понятно, буду разбираться)
перезагрузка аирфлоу (чтобы переменные окружения подтягивались) + spark-submit "/.../file.py" (кавычки) => заработало
➔m
А кто-то использовал инлеты/аутлеты? Чем они вообще полезны? А то я прочла о них в доке, но с ходу не поняла, как это работает и чем полезно