VS
Но не в кубике
Size: a a a
2020 October 28
YV
Сидим на 4.4.0 и не течет
ну все зависит, от того как и что там запускать, по запросу celery memory leak богатая история, лучше скажет чем я
Д
Всем Привет! Кто-нибудь знает как задать deploy mode в spark submit operator?
AN
В extra в connection попробуй
Д
Хмм, сча попробую) Спасибо!
Д
Да!) Это работает)) в extra прописал и огонь)
Д
Спасибо!!!!
AN
Не за что, тем же самым сейчас занимаюсь)
Может кто-нибудь подскажет, пожалуйста, как kinit прокинуть через airflow?
Может кто-нибудь подскажет, пожалуйста, как kinit прокинуть через airflow?
Д
Сек, вроде был пример где-то
Д
Кстати, в соседнем чатике по спарку советовали ещё через conf прокинуть этот параметр, сча попробую и его
Д
submit_spark_job = SparkSubmitOperator(
application="***",
conf={'spark.yarn.queue': 'prod', 'spark.submit.deployMode': 'cluster'},
task_id="submit",
conn_id="hdp31_spark",
java_class="***",
application_args=[],
dag=dag
)
application="***",
conf={'spark.yarn.queue': 'prod', 'spark.submit.deployMode': 'cluster'},
task_id="submit",
conn_id="hdp31_spark",
java_class="***",
application_args=[],
dag=dag
)
Д
Andrew Nasonov
Не за что, тем же самым сейчас занимаюсь)
Может кто-нибудь подскажет, пожалуйста, как kinit прокинуть через airflow?
Может кто-нибудь подскажет, пожалуйста, как kinit прокинуть через airflow?
Через bashOperator я делал
Д
AN
И пароль в default_args
AN
Ну такое
Д
Сорри что фоткой, нет телеги на комее
Д
Andrew Nasonov
И пароль в default_args
Так keytab же есть)
Д
Сгенерировали keytab файлик, в хомяка его и подставляем только путь до него, норм вариант
Д
Если airflow на кластере нужно будет его раскидать только по всем нодам