Size: a a a

2021 January 21

ПФ

Паша Финкельштейн... in Moscow Spark
По чару не то что не надо эскейпить — просто не получится )
источник

AS

Andrey Smirnov in Moscow Spark
сорри, не заметил
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Короче норм подклчается к локальному спарку, но всё равно висит :(
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Кстати, на орке висит тоже, так что проблема прям в цеппелине самом
источник

АЖ

Андрей Жуков... in Moscow Spark
Паша Финкельштейн
Кстати, на орке висит тоже, так что проблема прям в цеппелине самом
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ради интереса я так же попробовал на более старом цеппелине и там тоже не работает )
источник

AS

Andrey Smirnov in Moscow Spark
Паша Финкельштейн
Ради интереса я так же попробовал на более старом цеппелине и там тоже не работает )
да, падает на mapGroups, может там проблема с kryo?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Andrey Smirnov
да, падает на mapGroups, может там проблема с kryo?
Вроде там и крио быть не должно
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Это же кейс классы, всё должно работать на наскальных энкодерах
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну и конечно же
val df = spark.read.orc("/home/finkel/Downloads/ml-latest/movies").as[Movie]
       .filter($"title" rlike (""""?.*\(\d{4}\)\s*"?"""))
       .withColumn("year", regexp_extract($"title", """\((\d{4})\)\s*"?""", 1).cast(IntegerType))
       .withColumn("title", regexp_replace($"title", """\(\d{4}\)\s*"?""", ""))
       .withColumn("genres", split($"genres", "\\|"))
       .as[MovieWithGenresAndYear]
       .groupBy($"year")
       .agg($"year", count($"title"))
       .show(300, false)

работает
источник

ME

Mikhail Epikhin in Moscow Spark
я у мамы перловик
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
Ради интереса я так же попробовал на более старом цеппелине и там тоже не работает )
а что в логе зепелина?
источник

GP

Grigory Pomadchin in Moscow Spark
с то жейстек я увидел
источник

GP

Grigory Pomadchin in Moscow Spark
А лог зепелина - нет
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
а что в логе зепелина?
В каком именно? А то их много разных
источник

GP

Grigory Pomadchin in Moscow Spark
Паша Финкельштейн
В каком именно? А то их много разных
Интерпретатора
источник

GP

Grigory Pomadchin in Moscow Spark
В зепелин лог дире
источник

GP

Grigory Pomadchin in Moscow Spark
Точнее не скажу давно не дебпжил его
источник

GP

Grigory Pomadchin in Moscow Spark
Имя лога типа интерпретатор-юзер-хост
источник

GP

Grigory Pomadchin in Moscow Spark
Он обычно там пишет все даж если ничо в юай не пишет
источник