DK
Можно в паркет, например
Size: a a a
2020 February 04
A🦕
Daniel Kogan
rdd.reduceByKey(...) а дальше просто писать в любую базу/диск
блин, reduceByKey действительно не делает collect в отличие от reduce
спасибо!
спасибо!
DK
:) еще groupByKey лучше всегда заменять на reduceByKey. Все то же самое, но трафика по сети гонять меньше будет
DK
типа делаем reduce сначала на нодах а потом редьюс результатов на драйвере
А, вы это уже увидели
A🦕
Тоесть вариант 2 более оптимальный получается?
DK
Да. Он лучше тем, что все, что сможет, средьюсит на своей ноде перед шафлом с другими нодами. Ну и то что во втором случае значения не собираются в (возможно большой) список, который нужно держать в памяти, а сразу суммируют результаты
PK
@tandav у тебя ник просто вырви глаз. Мне с трудом вообще удается читать сообщения, всегда только твой ник маячит
A🦕
sorry for that
AL
@tandav у тебя ник просто вырви глаз. Мне с трудом вообще удается читать сообщения, всегда только твой ник маячит
+1
AK
@tandav у тебя ник просто вырви глаз. Мне с трудом вообще удается читать сообщения, всегда только твой ник маячит
+1
2020 February 07
РП
Коллеги, а есть у кого опыт тянуть данные Spark'ом из HANA?
РП
Не могу понять на каком моменте и с какого фига происходит трансформация запроса:
В Spark'e запрос:
df_HANA = spark.sql("""select
, count(1) as count
from CN01 where
group by
order by
В HANA прилетает:
SELECT "CH_ON" FROM SAPBI2.table WHERE ("CH_ON" IS NOT NULL) AND ("CH_ON" >= '20160601')
В Spark'e запрос:
df_HANA = spark.sql("""select
CH_ON as ch_on, count(1) as count
from CN01 where
CH_ON >= "20160601"group by
CH_ONorder by
CH_ON """)В HANA прилетает:
SELECT "CH_ON" FROM SAPBI2.table WHERE ("CH_ON" IS NOT NULL) AND ("CH_ON" >= '20160601')
РП
т.е. отсутствует группировка, и добавляется условие CH_ON is not NULL
РП
результатом запроса в HANA в таком случае будет 500+ млн строк CH_ON, а должно в теории было быть 1300+ дат с количеством строк.
ЕГ
Where пробрасывает в базу, а группировку не может пробросить, делает на спарке
ЕГ
CN01 это jdbc source?
РП
ЕГ
Если да, то можно сделать там вместо таблицы запрос
РП
сначала через
jdbcDF = spark.read \
.format("jdbc") \
... считываю таблицу
Потом превращаю ее в view
jdbcDF.createOrReplaceTempView('CN01')
jdbcDF = spark.read \
.format("jdbc") \
... считываю таблицу
Потом превращаю ее в view
jdbcDF.createOrReplaceTempView('CN01')
РП
и уже из view делал селект с группировкой.