В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 October 13

ЕГ

Евгений Глотов... in Moscow Spark
И по ним колонки строятся
источник
13:17пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
Или нет?
источник
13:17пожаловаться#2

ЕГ

Евгений Глотов... in Moscow Spark
Пивот позволяет развернуть одну колонку во много колонок
источник
13:19пожаловаться#3

ТС

Тимофей Смирнов... in Moscow Spark
Евгений Глотов
24 подгруппы?
по сути да
источник
13:20пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
Groupby(groupby_col).pivot(pivot_col).agg(sum(x).alias(sum_x, sum(y).alias(y)) создаст транспонированный агрегат
источник
13:22пожаловаться#5

ЕГ

Евгений Глотов... in Moscow Spark
Например, в pivot_col значения могут быть v1, v2, v3
источник
13:23пожаловаться#6

ЕГ

Евгений Глотов... in Moscow Spark
Будет на выходе датафрейм, сгруппированный по groupby_col, и будут колонки v1_sum_x, v1_sum_y, v2_sum_x, v2_sum_y, v3_sum_x, v3_sum_y
источник
13:25пожаловаться#7

ЕГ

Евгений Глотов... in Moscow Spark
Вместо фильтров where v1 или v2 или v3, потом джойна этих трёх датафреймов
источник
13:26пожаловаться#8

ЕГ

Евгений Глотов... in Moscow Spark
А впрочем что я тут фигню несу, есть же крутая статья, в которой всё расписано)
https://databricks.com/blog/2016/02/09/reshaping-data-with-pivot-in-apache-spark.html
Databricks
Reshaping Data with Pivot in Apache Spark - The Databricks Blog
Dr. Andrew Ray from Silicon Valley Data Science gives a deep dive on how to pivot data in Apache Spark, which was introduced in version 1.6.
источник
13:27пожаловаться#9

ТС

Тимофей Смирнов... in Moscow Spark
спасибо большое
источник
13:28пожаловаться#10

ТС

Тимофей Смирнов... in Moscow Spark
буду пробовать
источник
13:28пожаловаться#11
2019 October 15

PK

Pavel Klemenkov in Moscow Spark
источник
15:03пожаловаться#12

PK

Pavel Klemenkov in Moscow Spark
Всем привет)
источник
15:03пожаловаться#13

K

KrivdaTheTriewe in Moscow Spark
Pavel Klemenkov
круто
источник
15:04пожаловаться#14

KS

Kostya Shchetkin in Moscow Spark
можно moscow spark провести, судя по кол-ву десанта
источник
15:05пожаловаться#15

PK

Pavel Klemenkov in Moscow Spark
Да, у нас полсамолета сюда прилетело)
источник
15:05пожаловаться#16

PK

Pavel Klemenkov in Moscow Spark
Попробуем организоваться и вести небольшие лайвы по итогам дня.
источник
15:06пожаловаться#17

AA

Anton Alekseev in Moscow Spark
Периодически в ходе исполнения вываливается ошибка в yarn логи - 
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted.
Гугол не хочет помогать, сталкивался кто?
источник
15:08пожаловаться#18

KS

Kostya Shchetkin in Moscow Spark
Anton Alekseev
Периодически в ходе исполнения вываливается ошибка в yarn логи - 
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted.
Гугол не хочет помогать, сталкивался кто?
новый кластер разворачваешь?
источник
15:19пожаловаться#19

AA

Anton Alekseev in Moscow Spark
Kostya Shchetkin
новый кластер разворачваешь?
да, из снапшотов
источник
15:19пожаловаться#20