В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1115 membersпожаловаться на группу
2021 July 05

GP

Grigory Pomadchin in Moscow Spark
на практике стараются не делать редьюсов между новыми датафреймами; но в этом случае наверное никак; или читать из таблицы другим способом - начальных данных то много не надо
источник
17:37пожаловаться#1

ИК

Иван Калининский... in Moscow Spark
Таки это будет новый df, я бы так и обозначил это использованием нового val

И думаю, мастерство for comprehensions тут пригодилось бы: создать нужные функции, которые возвращали бы Option[DataFrame] и:

for {df <- Some(dfRaw)
dfNew <- newDF(df)
dfChanged <- changeDF(df, dfNew)
} yield dfChanged

Воспринимайте как псевдокод, я же только в процедурном программировании понимаю, в функциональном ниоч))
источник
17:37пожаловаться#2

GP

Grigory Pomadchin in Moscow Spark
реф для этого
источник
17:38пожаловаться#3

GP

Grigory Pomadchin in Moscow Spark
for {
 dfRef <- Ref.of(spark.read)
 _ <- dfRef.update(_.withColumn())
 _ <- ….
}
источник
17:39пожаловаться#4

ИК

Иван Калининский... in Moscow Spark
вот вот, я бы тоже посмотрел, как делается, и пользовался у себя, иногда бывает правда много строк с последовательными трансформациями
источник
17:39пожаловаться#5

ИК

Иван Калининский... in Moscow Spark
спасибо!
источник
17:39пожаловаться#6

DZ

Dmitry Zuev in Moscow Spark
а ты хорош, несешь скалу в спарк
источник
17:40пожаловаться#7

KR

Kagermanov Ramazan in Moscow Spark
Начало у меня такое же, только не через фор компр, а через стримы, но суть одна
Но редьюсы внутри одного дф не получается делать
источник
17:40пожаловаться#8

GP

Grigory Pomadchin in Moscow Spark
если у тебя простое то реф: https://typelevel.org/cats-effect/docs/std/ref
если что посложнее то стейт: https://typelevel.org/cats/datatypes/state.html
typelevel.org
Ref · Cats Effect
An asynchronous, concurrent mutable reference.
источник
17:41пожаловаться#9

GP

Grigory Pomadchin in Moscow Spark
ну делай походу дела
источник
17:41пожаловаться#10

GP

Grigory Pomadchin in Moscow Spark
// глина какаято но что-то такое
for {
 dfRef <- Ref.of(spark.read)
 _ <- dfRef.update(_.withColumn())
 list <- dfRef.get.map(_.collect().toList) // вот он редьюс, хоть 100 раз сделай
 _ <- dfRef.update(_.withColumns(list:_*)))
}
источник
17:43пожаловаться#11

GP

Grigory Pomadchin in Moscow Spark
травишь меня
источник
17:44пожаловаться#12

GP

Grigory Pomadchin in Moscow Spark
ты лучше мне подскажи насчет https://t.me/moscowspark/17737
Telegram
Grigory Pomadchin in Moscow Spark
Рибята, а есть способ ньютайпы как-то или рефайнед типы поддерживать спарком (DF / DS API)? Я анкодер свой могу руками написать (если например у меня NonEmptyString, то он в утф8 стринг и из кодит), но разумеется это все бесполезно становится когда я этот нонемптистринг сую в кейскласс; спарк просто не может подцепить мой анкодер. Все красиво можно было бы решить UDT, но они возможны только для над типов Null; а рефайнеды и ньютайпы экстендят AnyVal
источник
17:45пожаловаться#13

GP

Grigory Pomadchin in Moscow Spark
эх почему анкодеры не тупклассы а непойми что
источник
17:45пожаловаться#14

KR

Kagermanov Ramazan in Moscow Spark
Спасибо, попробую
источник
17:46пожаловаться#15

DZ

Dmitry Zuev in Moscow Spark
я через frameless решил, не шмог на ванильных энкодерах
источник
17:52пожаловаться#16

GP

Grigory Pomadchin in Moscow Spark
ну фреймлейс да генерирует свои анкодеры просто
источник
17:53пожаловаться#17

GP

Grigory Pomadchin in Moscow Spark
можно конечно через фреймлес
источник
17:53пожаловаться#18

DZ

Dmitry Zuev in Moscow Spark
ето понятно
источник
17:53пожаловаться#19

DZ

Dmitry Zuev in Moscow Spark
но там приятный слой, который скалавей выводит тебе все
источник
17:54пожаловаться#20