В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1115 membersпожаловаться на группу
2021 July 05

KR

Kagermanov Ramazan in Moscow Spark
Так и делал
Пытался давать обдуманные названия переменных
Когда уже дошло до 30+ изменений, понял, что фантазии начинает не хватать🙄
источник
16:44пожаловаться#1

GP

Grigory Pomadchin in Moscow Spark
)))
источник
16:56пожаловаться#2

GP

Grigory Pomadchin in Moscow Spark
Может группировать их как-то? Или переменные не нужны
источник
16:56пожаловаться#3

GP

Grigory Pomadchin in Moscow Spark
есть ещё всякие конструкты использовать которые ‘мутабельность’ позволят иметь
источник
16:57пожаловаться#4

GP

Grigory Pomadchin in Moscow Spark
типа Refа котового
источник
16:57пожаловаться#5

АК

Александр Кунцевич... in Moscow Spark
Есть несколько вариантов: 1. Зависает на этапе Pending, 2. Завершает рассчитывать блокнот и показывает результат, но задачу в Ярне не убивает.
источник
16:59пожаловаться#6

KR

Kagermanov Ramazan in Moscow Spark
Старые переменные не нужны, только последняя версия
Думал мб делать по типу
val test = df
val test1 = new_df
val test = new_df
источник
17:00пожаловаться#7

GP

Grigory Pomadchin in Moscow Spark
а зачем они тогда
покажи пример кода
источник
17:01пожаловаться#8

N

Nail in Moscow Spark
Почему вы не используете цепочку вызовов? Зачем сохранять промежуточные датафреймы в переменные?
источник
17:24пожаловаться#9

KR

Kagermanov Ramazan in Moscow Spark
Увы, показать реальный пример не могу, в дороге
Есть df
Провели некие манипуляции с данными и Нужен новый с изменениями колонок по каким-либо условиям
источник
17:25пожаловаться#10

N

Nail in Moscow Spark
val df = spark.read.filter().withColumn(). и т.д.
источник
17:26пожаловаться#11

KR

Kagermanov Ramazan in Moscow Spark
Цепочка вызовов работает лишь в тех случаях, когда необходимо разом поменять все данные, в моем случае не получится
источник
17:26пожаловаться#12

N

Nail in Moscow Spark
Сохраняйте только то что используется
источник
17:26пожаловаться#13

KR

Kagermanov Ramazan in Moscow Spark
А если мне на основе df необходимо вычислить данные, а потом на основе вычисленных данных поменять данные в df?
источник
17:27пожаловаться#14

N

Nail in Moscow Spark
Ну в этом случае исходный датафрейм используется два раза, само собой придется. Я про остальные случаи.
источник
17:28пожаловаться#15

N

Nail in Moscow Spark
Я к тому, что с такой проблемой не сталкивался, чтобы прямо очень много переменных приходилось вводить
источник
17:29пожаловаться#16

GP

Grigory Pomadchin in Moscow Spark
ну это уже извращенная логика, да тут тяжело будет
источник
17:32пожаловаться#17

GP

Grigory Pomadchin in Moscow Spark
ну тут редьюсы видишь посередине
источник
17:32пожаловаться#18

GP

Grigory Pomadchin in Moscow Spark
можно конечно через реф или стейтом; тогда будет и чисто и переменные называть не придется; ну если очень хочется
источник
17:36пожаловаться#19

KR

Kagermanov Ramazan in Moscow Spark
А как на практике поступают?
Если мне надо брать начальный датафрейм и дополнять его исходя из манипуляций с этим же датафреймом
Изначально порядка 15 колонок, половина из них значения по умолчанию, которые надо заполнить исходя из присутствующих в таблице данных
Плюс ещё дополнительные колонки, которые так же заполнять нужно исходя из существующих данных в таблице
источник
17:37пожаловаться#20