A
А у вас spark 3.1 и выше? Просто в документации указана эта версия, а у нас 2.4 стоит
у нас тоже
Size: a a a
2021 March 12
Y
Спасибо ребята за подсказки)
2021 March 15
IK
Привет! Возник вопрос загрузки данных из SAP BW, жуть проперитарная ещё та. Может у кого то был опыт такого взаимодействия? к HANA можно подцепиться через JDBC а вот с BW беда какая-то
N
Привет! Возник вопрос загрузки данных из SAP BW, жуть проперитарная ещё та. Может у кого то был опыт такого взаимодействия? к HANA можно подцепиться через JDBC а вот с BW беда какая-то
У них вроде по лицензии только из веб сервиса можно тянуть.
IK
нарыл чо можно через RFC вытаскивать ипользуя jco саповский, только вот мейвене какая-то старая версия лежит
G
Народ. Подскажите, может кто решил такую проблему. Мне надо переписать набор партиций в папке. Если задать mode(ovewrite).partitionBy(‘part).parquet(“/tmp”) то это грохает все что есть в папке и пишет туда новый список партиций. А мне надо чтобы оно переписало только те партиции что есть в partitionBy
G
Я уже думал писать рядом и перезаписывать партиции. Но мне кажется это как то коряво
G
нарыл чо можно через RFC вытаскивать ипользуя jco саповский, только вот мейвене какая-то старая версия лежит
Sap jco либа самим сапом распространяется, через их сайт
NN
Я уже думал писать рядом и перезаписывать партиции. Но мне кажется это как то коряво
Установи spark.sql.sources.partitionOverwriteMode в dynamic, и пиши в табличку как .mode("append").insertInto(tablename, overwrite=True)
G
У меня spark 2.2. там по моему нет этого параметра. Он появился в 2.3. И у меня нет таблицы
NN
У меня spark 2.2. там по моему нет этого параметра. Он появился в 2.3. И у меня нет таблицы
Тогда надо гуглить
G
Да вот уже гуглю. Решения как бы не могу найти
G
Моет есть какой то рецепт удалить партиции?
AS
Добрый вечер. Почему может быть такое:
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
AB
Anton Solomonov
Добрый вечер. Почему может быть такое:
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
если правильно понял то у вас не работает аппенд?
в спарке обычно оверврайт идет да
в спарке обычно оверврайт идет да
AS
Append выдаёт что я пытаюсь подставить null значения. Хотя это не так.
По факту получается что append что overwrite записывают пустой датафрейм
По факту получается что append что overwrite записывают пустой датафрейм
AB
Anton Solomonov
Append выдаёт что я пытаюсь подставить null значения. Хотя это не так.
По факту получается что append что overwrite записывают пустой датафрейм
По факту получается что append что overwrite записывают пустой датафрейм
а те партиция поулчается пустая по итогу совсем?
AS
Да
AB
Anton Solomonov
Да
оч странно - по логике значит вы пишите пустой дф в эту партицию
AB
а вы проверяли что там есть данные? хотя бы шоу или каунт?