GP
версии чекни
Size: a a a
2020 July 23
DZ
версии чекни
Ага, оказалось что надо типа 2.10+.
2020 July 24
АЖ
А это у меня с лыжами что-то или из spark 2.4.6 пропал билд профиль hadoop-2.8.2?
ME
А это у меня с лыжами что-то или из spark 2.4.6 пропал билд профиль hadoop-2.8.2?
Профиль на скачивание или на сборку?
АЖ
Профиль на скачивание или на сборку?
На сборку
ME
Недавно собирал spark 2.4.6 + hadoop 2.10.0, все ок
АЖ
Видимо, чот у меня при обновлении каталины развалилось
ME
На сборку
Ну в pome вот такие профили https://github.com/apache/spark/blob/branch-2.4/pom.xml#L2746
Но с 2.10 собирается и работает ок
Но с 2.10 собирается и работает ок
АЖ
Ну в pome вот такие профили https://github.com/apache/spark/blob/branch-2.4/pom.xml#L2746
Но с 2.10 собирается и работает ок
Но с 2.10 собирается и работает ок
Ну pom-то да, просто у меня пару недель назад собиралось, а ща хрен там :)
ME
Ну pom-то да, просто у меня пару недель назад собиралось, а ща хрен там :)
На чем падает?)
АЖ
На НЕТ ТАКОГО ПРОФИЛЯ
АЖ
поставил обновлять каталину на следующий патч, через полчасика продолжу наблюдение
ME
На НЕТ ТАКОГО ПРОФИЛЯ
я понимаю, какой выбирали? Профиля -Phadoop-2.8.2 нету, есть 2.6 / 2.7
АЖ
я понимаю, какой выбирали? Профиля -Phadoop-2.8.2 нету, есть 2.6 / 2.7
2.8.2, у меня с ним раньше собиралось как раз
АЖ
Может, правда, я в инженерном угаре что-то правил
ME
Похоже на то, не помню чтобы такой профиль когда либо был в апстриме
АЖ
А это у меня с лыжами что-то или из spark 2.4.6 пропал билд профиль hadoop-2.8.2?
короче, лыжи 🙂
не та жава в жава_хом оказалась
зато порядок в homebrew навел, наконец!
не та жава в жава_хом оказалась
зато порядок в homebrew навел, наконец!
K
@pklemenkov а скок максимум приходило на москов спарк?
PK
Приходило не знаю, но регу мы всегда на 200 закрывали
2020 July 29
ВА
Ребят, привет! У кого-то было, что .filter на rdd дублирует записи в исходной rdd? У меня есть rdd класса, в котором поля: 3 String'a и 1 Long. Делаю .filter этой и рдд, и на выходе у меня rdd с очень большим количеством одного экземпляра этого класса (хотя на входе 1 был)