N
твой пакет не дошёл. ты udp.
Size: a a a
2021 May 28
PK
Прямо наплыв, действительно
NN
Друзья, приветствую! У кого есть опыт через локалный Pycharm(windows) запускать applicate на ремоте Cloudere?
NN
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName('Cloudera Sample Job') \
.master('yarn') \
.config('spark.hadoop.fs.defaultFS','hdfs://192.168.56.172:8020') \
.config('spark.hadoop.yarn.resourcemanager.address','192.168.56.172:8032') \
.getOrCreate()
print ("--------Hello Wordld------------")
spark = SparkSession.builder \
.appName('Cloudera Sample Job') \
.master('yarn') \
.config('spark.hadoop.fs.defaultFS','hdfs://192.168.56.172:8020') \
.config('spark.hadoop.yarn.resourcemanager.address','192.168.56.172:8032') \
.getOrCreate()
print ("--------Hello Wordld------------")
NN
polucayu takuyu oshibku :: thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
N
Нужно указать путь до папки с конфигами кластера
NN
yest uvas exaple kakoy ne bud ?
2021 May 29
AS
Привет!
Подскажите в чем может быть проблема в скорости отработки запроса:
В hive есть таблица, которая содержит 300 млн + строк.
Отработка обычного запроса groupby по 3м полям таблицы занимает 2,5 часа. В качестве аргумента agg указывается просто count по полю.
Это нормальная скорость 2,5 часа для такого запроса или долго ?
Подскажите в чем может быть проблема в скорости отработки запроса:
В hive есть таблица, которая содержит 300 млн + строк.
Отработка обычного запроса groupby по 3м полям таблицы занимает 2,5 часа. В качестве аргумента agg указывается просто count по полю.
Это нормальная скорость 2,5 часа для такого запроса или долго ?
ПФ
Как партиционировано?
ПФ
Обычно чтобы такого не было просто всё партиционируют
N
Перекос в данных
AS
По месяцам
AS
Что такое перекос данных ?
ПФ
А группировка?
AS
Группировка по другим полям
ПФ
Например все данные попадают в одну группу
ПФ
Ну то есть надо буквально сделать тотал ордер на большом количестве данных без предварительной подготовки
AS
Да, примерно так
ПФ
Движок под хайвом Спарк?
AS
Да