В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2020 August 24

VM

Vladimir Maximov in Moscow Spark
Dima
Привет, кто-то сталкивался с проблемой на HDFS(cloudera), есть 2-5 Спарк аппликешинов которые пишут в одну и туже папку  параллельно 1 фали с 1 строчкой(APPEND MODE). Ну и проблема собственно с FileOutputCommiter он вытерает другие джобы из _temporary/...
Привет, попробуй эти значения конфигурации для fileoutputcommiter’a:

spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2


spark.hadoop.mapreduce.fileoutputcommitter.cleanup-failures.ignored=true


spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false
источник
12:31пожаловаться#1

D

Dima in Moscow Spark
Vladimir Maximov
Привет, попробуй эти значения конфигурации для fileoutputcommiter’a:

spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2


spark.hadoop.mapreduce.fileoutputcommitter.cleanup-failures.ignored=true


spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false
Спасибо Владимир за ответ, но с параметрами я наигрался- не работает для HDFS.
Эту проблему можно решить:
1. Extends OutputCommiter (сделать свой) https://www.outbrain.com/techblog/2020/03/how-you-can-set-many-spark-jobs-write-to-the-same-path/

2. Использовать distributed lock(пример curator, delta lake)

3. Ну или писать джобы в разные патриции.
Outbrain
How you can set many spark jobs write to the same path |
One of the main responsibilities of the DataInfra team at Outbrain, which I am a member of, is to build a data delivery pipeline, our pipeline is built on top of Kafka and Spark Streaming frameworks. We process up to 2 million Read more ›
источник
13:46пожаловаться#2
2020 August 26

ПБ

Повелитель Бури... in Moscow Spark
Добрый! Скажите пожалуйста а как можно рефрешнуть  после выполнения скрипта ?
Spark context available as 'sc'                                                                                                                                                    
Spark session available as 'spark'.

а то данные обновились, а спарк старые результаты возвращает
источник
19:38пожаловаться#3

PK

Pavel Klemenkov in Moscow Spark
Не понял, что рефрешнуть?
источник
19:38пожаловаться#4

ПБ

Повелитель Бури... in Moscow Spark
Pavel Klemenkov
Не понял, что рефрешнуть?
Spark contex и Spark session
источник
19:39пожаловаться#5

GP

Grigory Pomadchin in Moscow Spark
Повелитель Бури
Spark contex и Spark session
это сессиии
источник
19:40пожаловаться#6

PK

Pavel Klemenkov in Moscow Spark
Повелитель Бури
Spark contex и Spark session
Их можно только пересоздать. А зачем рефрешить?
источник
19:41пожаловаться#7

DK

Denis Kornilov in Moscow Spark
Возможно речь идет про:
REFRESH [TABLE] tableIdentifier

?
источник
19:41пожаловаться#8

ПБ

Повелитель Бури... in Moscow Spark
нет )
я запускаю скрипт в livy
spark.sql("select  * from default.t").df_07.groupBy("d").agg(count("*").as("cnt"))
и следующей строкой нужно видимо пересоздать
чтобы следующий запрос отображал новые данные
источник
19:42пожаловаться#9

ПБ

Повелитель Бури... in Moscow Spark
если через spark-shall запускаю, все отлично работает, результат обновляется
источник
19:43пожаловаться#10

AK

Andrew Konstantinov in Moscow Spark
Повелитель Бури
Добрый! Скажите пожалуйста а как можно рефрешнуть  после выполнения скрипта ?
Spark context available as 'sc'                                                                                                                                                    
Spark session available as 'spark'.

а то данные обновились, а спарк старые результаты возвращает
добрый!можно refresh catalog или refresh table,если ты не пересоздавал какую-нибудь spark_metadata
источник
20:16пожаловаться#11
2020 August 27

ПБ

Повелитель Бури... in Moscow Spark
Andrew Konstantinov
добрый!можно refresh catalog или refresh table,если ты не пересоздавал какую-нибудь spark_metadata
Разве у скарка есть каталог или таблицы? Как  у hive?
источник
09:06пожаловаться#12

АЖ

Андрей Жуков... in Moscow Spark
Повелитель Бури
Разве у скарка есть каталог или таблицы? Как  у hive?
Ты ж сам sql используешь в скрипте :)
источник
09:57пожаловаться#13

ПБ

Повелитель Бури... in Moscow Spark
Андрей Жуков
Ты ж сам sql используешь в скрипте :)
если я правильно понял документацию, spark sql создает себе какую то временную абстрактную таблицу : dataframe
источник
10:00пожаловаться#14

АЖ

Андрей Жуков... in Moscow Spark
Повелитель Бури
если я правильно понял документацию, spark sql создает себе какую то временную абстрактную таблицу : dataframe
Советую почитать внимательно.  Спарк умеет использовать даже внешний метастор.
источник
10:08пожаловаться#15

AN

Andrey N in Moscow Spark
ребята, есть ли возможность настроить ярн так, что бы он убивал сессии которые простаивают например 8 часов?
источник
11:08пожаловаться#16

ЕГ

Евгений Глотов... in Moscow Spark
Andrey N
ребята, есть ли возможность настроить ярн так, что бы он убивал сессии которые простаивают например 8 часов?
Понятие "простаивают" очень неоднозначное для спарк-сессий
источник
11:20пожаловаться#17

ЕГ

Евгений Глотов... in Moscow Spark
Ну и помимо них есть дофига других ярн-приложений, для которых тоже непонятно, работают они или нет
источник
11:21пожаловаться#18

ЕГ

Евгений Глотов... in Moscow Spark
Но можно написать несложный скрипт, который парсит url appmaster в ярне, потом парсит spark UI и получает время запуска последнего джоба, например
источник
11:22пожаловаться#19

ЕГ

Евгений Глотов... in Moscow Spark
Если оно больше 8 часов, то просто ярн аппликейшен -килл
источник
11:22пожаловаться#20