Size: a a a

2020 September 22

t

tenKe in Moscow Spark
нет уж, нам интересно!
источник

DZ

Dmitry Zuev in Moscow Spark
Рил интересно
источник

Е

Евгений in Moscow Spark
Просто джава код какойто . Который принимает параметры и возращает число. Нужно фильтрануть колонку в датасете по этому числу. Те допустим больше нуля. Как это лучше сделать? Джава код менять допустим нельзя. Те это легаси функция на 10000 строк.
источник

Е

Евгений in Moscow Spark
И в ней нужно дергать сессию
источник

DZ

Dmitry Zuev in Moscow Spark
Не делать этого
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Евгений
И в ней нужно дергать сессию
менять нельзя, но про сессию узнать можно? 😊
источник

DZ

Dmitry Zuev in Moscow Spark
Евгений
Просто джава код какойто . Который принимает параметры и возращает число. Нужно фильтрануть колонку в датасете по этому числу. Те допустим больше нуля. Как это лучше сделать? Джава код менять допустим нельзя. Те это легаси функция на 10000 строк.
Фильтровать нужно фильтром например
источник

DZ

Dmitry Zuev in Moscow Spark
Udf нужен чтобы пройтись по ДС в одну сторону
источник

GP

Grigory Pomadchin in Moscow Spark
Евгений
И в ней нужно дергать сессию
ого
источник

GP

Grigory Pomadchin in Moscow Spark
как сложно
источник

DZ

Dmitry Zuev in Moscow Spark
Есть мнение что там делается запрос в хайв и коллект
источник

DZ

Dmitry Zuev in Moscow Spark
Играю в вангу
источник

GP

Grigory Pomadchin in Moscow Spark
Dmitry Zuev
Есть мнение что там делается запрос в хайв и коллект
90% дс кода? :д

пипец Дима ты рил ванга
источник

Е

Евгений in Moscow Spark
Да . Там запрос к хайву и коллект. Но если юдф использовать то сессию в ней не получить же?
источник

DZ

Dmitry Zuev in Moscow Spark
Мне кажется Спарк сломается
источник

DZ

Dmitry Zuev in Moscow Spark
Ну попробуй замкнутся на сс
источник

DZ

Dmitry Zuev in Moscow Spark
В юдф
источник

DZ

Dmitry Zuev in Moscow Spark
Grigory Pomadchin
90% дс кода? :д

пипец Дима ты рил ванга
Это опыт, очень грустный
источник

t

tenKe in Moscow Spark
Grigory Pomadchin
90% дс кода? :д

пипец Дима ты рил ванга
да он прост сам этот код и написал
источник

t

tenKe in Moscow Spark
источник