GP
^ оно не очень работает
Size: a a a
2018 February 28
KM
неа
KM
rm -rf ./target/* ./*/targetвсё равно в логе ошибок название файла с опечаткой
KM
а попробуй число пи посчитать
Посчитало
GP
похоже у тебя конкретный баг
KM
но с пересобранным кодом оригинала также ошибку выдает
GP
зепелин точно расидывает на разные ноды таски?
GP
у меня было как-то что он ни в какую не хотел более одного экзекутора выделять
GP
и разумеется не было ошибок сериализаций и вских таких шляп
KM
зепелин точно расидывает на разные ноды таски?
не факт
GP
ну похоже что ты и правда на багу специфичную нарвался, едсинвтенный вариант понять где конркетного бага это закоментить весь код и форсить вычисление рдд
GP
ну постепенно разкоменчивать его
KM
ну похоже что ты и правда на багу специфичную нарвался, едсинвтенный вариант понять где конркетного бага это закоментить весь код и форсить вычисление рдд
def check_condition(x: Any): Boolean = {
x match {
case x: String => x.toDouble > 3.0
case _ => true
}
}
val kv = df_rdd.
filter{ case v: org.apache.spark.sql.Row => check_condition(v(4))}.
cache()
kv.collect()
KM
показывает ошибку на строчке с фильтром
KM
но по идее же все ок
KM
UPD: запускаю код построчно в spark-shell
KM
и он работает
GP
тяжело сказать что-то
GP
короче где-то лажа а какая ошибка то в строчке с фильтром?