В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1090 membersпожаловаться на группу
2021 May 20

I

Ivan in Moscow Spark
но пайплан который написан сейчас работает с pandas DataFrame на входе и на выходе. И я не знаю как создать такую функцию которая будет принимать pandas DataFrame или Series или list[str] и возвращать pandas DataFrame который в итоге будет объеденяться в  Spark DF
источник
12:30пожаловаться#1

I

Ivan in Moscow Spark
то есть просто все фичи закинуть в Series?
источник
12:30пожаловаться#2

ЕГ

Евгений Глотов... in Moscow Spark
Пандас юдф (grouped_map)
источник
13:09пожаловаться#3

ЕГ

Евгений Глотов... in Moscow Spark
Только нужно знать все эти 70к фичей, которые ты хочешь на выходе, и вписать их в параметр выходной схемы
источник
13:10пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
Что делается - пандас внутри таска в спарке возвращает свой датафрейм, а дальше таск пытается считать его как свой с помощью схемы из параметра
источник
13:11пожаловаться#5

PK

Pavel Klemenkov in Moscow Spark
Меня всегда напрягало, что GROUPED_MAP юдфки используют только потому, что они датафрейм возвращают. Это всегда так нелепо в коде выглядит
источник
13:17пожаловаться#6

I

Ivan in Moscow Spark
Меня это тоже смутило, потому что я ничего не груперую . То есть просто использовать их?
источник
13:18пожаловаться#7

I

Ivan in Moscow Spark
В плане схему данных?
источник
13:18пожаловаться#8

ЕГ

Евгений Глотов... in Moscow Spark
Самое дебильное, что только они датафрейм принимают😆
источник
14:40пожаловаться#9

ЕГ

Евгений Глотов... in Moscow Spark
Собирать датафрейм из колонок - как-то дебильно)
источник
14:40пожаловаться#10

ЕГ

Евгений Глотов... in Moscow Spark
Да, схема выходного пандас датафрейма
источник
14:40пожаловаться#11

ЕГ

Евгений Глотов... in Moscow Spark
Её можно получить, прогнав на одной записи нужную операцию
источник
14:41пожаловаться#12

ЕГ

Евгений Глотов... in Moscow Spark
И сделав spark.createDataFrame(pd_one_row).schema
источник
14:41пожаловаться#13

I

Ivan in Moscow Spark
спасибо, буду пробовать
источник
15:06пожаловаться#14

IF

Ilya F in Moscow Spark
Всем привет! Проблема такая, я хочу сделать композицию трансформеров , первой идеей пришло воспользоваться pipeline, но pipeline это estimator, его нужно учить. Хотя когда он состоит только из трансформеров это оверхэд. Есть какая нибудь фича, которая позволяет сгруппировать трансформеры и получить сразу трансформер ? Спасибо!
источник
15:34пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Можно сделать .fit(data).transfom(data)
источник
15:51пожаловаться#16

ЕГ

Евгений Глотов... in Moscow Spark
На пайплайне
источник
15:51пожаловаться#17

ЕГ

Евгений Глотов... in Moscow Spark
Много трансформеров, у которых либо фит, либо трансформ пустой, выглядит немного дебильно, но что есть
источник
15:51пожаловаться#18

PK

Pavel Klemenkov in Moscow Spark
Почему оверхед? fit же ничего делать не будет
источник
15:54пожаловаться#19

IF

Ilya F in Moscow Spark
Я лишний раз перестраховался от изобретения велосипеда) спасибо большое за советы!
источник
15:57пожаловаться#20