AK
Какой есть best practices выгрузки большого yaml файла с конфигом спарка в Pyspark ?
Size: a a a
2021 January 06
GP
Какой есть best practices выгрузки большого yaml файла с конфигом спарка в Pyspark ?
@krivdathetriewe мож знает
K
@krivdathetriewe мож знает
Не совсем понял про выгрузку
AK
Есть yaml с конфигом многоуровневый-надо его красиво распарсить в строку и передать как переменную окружения
K
base64
DZ
Есть yaml с конфигом многоуровневый-надо его красиво распарсить в строку и передать как переменную окружения
Какой кейс?
AK
Какой кейс?
Есть ямл с конфигом спарка- по факту из него надо сделать строку — conf spark.sql.... —conf ....
DZ
Есть ямл с конфигом спарка- по факту из него надо сделать строку — conf spark.sql.... —conf ....
Почему не положить его рядом?
AK
Ок,а Спарком можно сразу его в конфиг передать?
K
передайте base64
K
и уже сконвертите
K
внутри драйвера в ваш конфиг
K
передать можно в —conf
GP
передайте base64
как md5 🌚
2021 January 07
GP
Spark 3.1.0 на централе валяется; they say в 3.2.0 будет скала 2.13 уже
ПФ
Spark 3.1.0 на централе валяется; they say в 3.2.0 будет скала 2.13 уже
Она валяется на её выложили случайно, это забавно :)
GP
Она валяется на её выложили случайно, это забавно :)
ага, видел переписку
GP
RC релизнули как релиз)
GP
ну 3.1.1 выкатят потом
ПФ
Ну и да, там то, что некоторым мейнтейнерам кажется блокерами