AS
По логике получается так, но перед запись проверил что есть в записываемом датафрейм - он наполнен данными ((
Size: a a a
2021 March 15
AS
Через Show проверял
NN
Anton Solomonov
По логике получается так, но перед запись проверил что есть в записываемом датафрейм - он наполнен данными ((
А сколько ключей в партиции?
AB
оч странно
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
AS
А сколько ключей в партиции?
Один ключ
NN
Anton Solomonov
Один ключ
Хм
AS
оч странно
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
Тогда странно что не перезаписывается
NN
оч странно
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
-Может нельзя сохранять в ту таблицу из которой производится чтение ?
такого вообще нет насколько я знаю - можно прочитать, преобразовать и туда же перезаписать
Ну хз, мне кажется, что план запроса может поломаться и произвести ересь. Я так не делаю никогда , например.
AB
Ну хз, мне кажется, что план запроса может поломаться и произвести ересь. Я так не делаю никогда , например.
ну согласен кейс странный, какая то рекурсия получается постоянная если шедулить))
AB
Anton Solomonov
Добрый вечер. Почему может быть такое:
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
я читаю таблицу1 из hive в датафрейм,
потом делаю union с другим датафреймом
и результат сохраняют в эту же таблицу1 с этой же партицией
В итоге партиция таблицы куда записываю обнуляется.
Может нельзя сохранять в ту таблицу из которой производится чтение ?
попробуйте рядом записать тестово
AS
Да, попробую в другую таблицу сохранить. Посмотрим что получится
VS
Всем привет, подниму очень старый пост, вроде кто-то точно настраивал спаркмонитор, интересен вопрос, смог ли кто на master yarn завести его?
VS
Переслано от Aleksandr Severinov
Привет! Кто-нибудь успешно настраивал sparkmonitor для jupyter? На гитхабе рабочие примеры для локального режима (хоть там и проблема с выбором порта, но хотя бы не падает), а для .setMaster("yarn") не удается прокинуть воркерам джарник с лиснером
K
Всем привет, подниму очень старый пост, вроде кто-то точно настраивал спаркмонитор, интересен вопрос, смог ли кто на master yarn завести его?
Скажи пожалуйста, а как сча джупитер поднят или цеппелин у вас ?
VS
Все так же
2021 March 16
A
Привет! Возник вопрос загрузки данных из SAP BW, жуть проперитарная ещё та. Может у кого то был опыт такого взаимодействия? к HANA можно подцепиться через JDBC а вот с BW беда какая-то
привет! есть опыт работы с BW. может в чём-то смог бы помочь — напишите в личку
НК
Хитрые спамеры! 😄
Oא
Оу
С
Так в бигдату меня ещё никто не завлекал
С
@krivdathetriewe @pomadchin хотите?