AL
Выглядит вполне логичным на запрос "выдай выражение 0" выдавать 0:)
Size: a a a
2019 February 13
AA
Выглядит вполне логичным на запрос "выдай выражение 0" выдавать 0:)
Я пробовал в кавычки еще одни завернуть, таже петрушка
AL
Anton Alekseev
Я пробовал в кавычки еще одни завернуть, таже петрушка
В таком случае он выдает не 0, а "0"
AL
Тоже логично)
AA
Тоже логично)
Окей, как обратиться к пространству имён колонок)
AA
Юзера же как-то распарсил
AL
Я думал, что он это делает, если не находит константу (или функцию). А вот минуя их - непонятно.
DN
Anton Alekseev
Окей, как обратиться к пространству имён колонок)
selectExpr("`0`")
- так, может (в бэктиках)?
AA
selectExpr("`0`")
- так, может (в бэктиках)?
Да, есть. Спасибо. Вы это в доках нашли?
DN
В чертогах разума. 😆
НК
А чем select(col(“0”)) не угодил?
DN
Вроде бы, в SQL то, что в бэктиках, есть имя колонки. По аналогии тут.
AA
Николай Корсаков
А чем select(col(“0”)) не угодил?
Я пытаюсь ускорить, реализацию melt (по ссылке), и хочу попробовать через sql. Ибо реализация через col(name) на этапе формирования _vars_and_vals (по ссылке) проседает по перфомансу. https://stackoverflow.com/questions/41670103/how-to-melt-spark-dataframe
AA
у меня жирнющщий фрейм
PK
Anton Alekseev
Да, есть. Спасибо. Вы это в доках нашли?
Это стандартная конвенция в SQL
AA
Это стандартная конвенция в SQL
Запамятовал значит, привык через [], либо вообще без обособления. MSsql (MStudio точнее) переваривает.
AA
Anton Alekseev
Я пытаюсь ускорить, реализацию melt (по ссылке), и хочу попробовать через sql. Ибо реализация через col(name) на этапе формирования _vars_and_vals (по ссылке) проседает по перфомансу. https://stackoverflow.com/questions/41670103/how-to-melt-spark-dataframe
Ну кстати в моём случае это значительно ускорило преобразование. Если понадобится кому, то на стак добавил реализацию.
2019 February 19
N
Подскажите , как понимать Dataset. Интересуют именно детали. Вот с rdd более или менее понятно. Это интерфейс с одной из функцией -compute , которая возвращает итератор. А как быть с dataset?
GP
Nikolay
Подскажите , как понимать Dataset. Интересуют именно детали. Вот с rdd более или менее понятно. Это интерфейс с одной из функцией -compute , которая возвращает итератор. А как быть с dataset?
Тож самое; только оно умеет интерпретировать и упрощать по мере возможности планы запросов, чего не умеет рдд и в рдд надо руками все делать. Однако мне не понятно на сколько сказанное выше ясно сказано т.к. первый раз вижу такое описание рдд
