AM
ну, если в докере, то можно в Dockerfile прописать установку
Спасибо
Size: a a a
2020 December 23
AA
Может просто их читать через http?)
AM
Может, я через http не читал ни разу. Может там токены какие нужны, или еще что-то...
AA
Может и нужны, но выглядит проще, чем доустанавливать что-то в образ
AM
Спасибо, тоже попробую. У гита есть ссылка на фал, если знать ссылку, можно добвать в http - ?inline=false , браузер предлагает файл скачать, попробую это в питоне использовать
AA
У нас в питоне достаются sql-скрипты из гитлаба библиотекой gitlab
С
Уязвимость в Apache Airflow, допускающая использование одного сеанса на разных серверах https://opennet.ru/54298/
ИК
Добрый день! Мы только собираемся использовать airflow, подскажите есть ли разница в какой ide даги писать? Может по опыту есть где-то преимущество
VS
где разрабу удобнее питон код писать - там удобнее
ME
PyCharm!)
ME
А так да, хоть в блокноте, если удобно. никаких дополнительных бенефитов для airflow вроде нет в IDE
AM
У нас в питоне достаются sql-скрипты из гитлаба библиотекой gitlab
Вот, можно подробнее, пожалуйста. Нам тоже sql надо доставать... Я уже и токен сделал в гитлабе, никак не получается через http скачать
AA
Вот, можно подробнее, пожалуйста. Нам тоже sql надо доставать... Я уже и токен сделал в гитлабе, никак не получается через http скачать
def get_gitlab_file_text(url: str, private_token: str, project_id: int, file_path: str, args_dict=None):
# https://python-gitlab.readthedocs.io/en/stable/
gl = gitlab.Gitlab(url, private_token=private_token)
gl.auth()
# projects = gl.projects.list()
# for p in projects:
# print(p)
project = gl.projects.get(project_id)
f = project.files.get(file_path=file_path, ref='master')
text = str(f.decode().decode()).format(**args_dict) if args_dict else str(f.decode().decode())
return text
AM
def get_gitlab_file_text(url: str, private_token: str, project_id: int, file_path: str, args_dict=None):
# https://python-gitlab.readthedocs.io/en/stable/
gl = gitlab.Gitlab(url, private_token=private_token)
gl.auth()
# projects = gl.projects.list()
# for p in projects:
# print(p)
project = gl.projects.get(project_id)
f = project.files.get(file_path=file_path, ref='master')
text = str(f.decode().decode()).format(**args_dict) if args_dict else str(f.decode().decode())
return text
Спасибо огромное!!
AA
2020 December 24
А
всем привет! ребят, подскажите плиз, может кто сталкивался с таким.
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
VS
всем привет! ребят, подскажите плиз, может кто сталкивался с таким.
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
Разве, вроде был похожий кейс и вроде логи с обеих машин показывал 🤔