K
Привет, собирал кто спарк 2.12 с хадуповыми бинарями, завелось все нормально?
Size: a a a
2020 May 25
K
Или в рантайме чо падает
R
В итоге я ещё почитал, не помню какой подход сделал и мой интерес к этому иссяк. В итоге не полетело. Напрямую в директории не писал, сомневаюсь что так полетит
из-за чего сомнения что не полетит запись в отдельные директории?
GT
Привет, собирал кто спарк 2.12 с хадуповыми бинарями, завелось все нормально?
А с чем падает? Хадуп какой версии подсовываешь? Я собирал с разными версиями, но не то, чтобы каждую сборку тестировал больше стандартного пи примера/маленькой обработки.
K
да пока не падает скор тестить буду
GP
да пока не падает скор тестить буду
а у тебя третий хадуп?
K
пока нет
K
сча 2.4.5 собираю
K
как 3 появится, планирую сразу мигрировать на 3 спарк
ME
я 2.4.5 собрал на 2.12, были проблемы
ME
Но было месяца 3 назад, не помню уже что там было
ME
Остался на 2.11 пока
GP
Но было месяца 3 назад, не помню уже что там было
а не вспомнишь какие? у нас уже в районе полугода все на 2.12
ME
а не вспомнишь какие? у нас уже в районе полугода все на 2.12
Боюсь нет, а вы можете свои ошибки вынести и показать что не билдится?
GP
Боюсь нет, а вы можете свои ошибки вынести и показать что не билдится?
у меня все ок) это к @krivdathetriewe вопрос про билды
но у него я так понял все тоже ок
он про рантайм спрашивал
но у него я так понял все тоже ок
он про рантайм спрашивал
K
я прост в рантайме не знаю , что отвалится
ME
А, хз, не собрал — не тестил:)
2020 May 26
DC
Привет! Делаю FlatMap and CountVectorizer pipeline, но не много не пойму как правильно счейнить - ругается, что не видит оутпута предыдущей операции.
Для FlatMap написал свой Трансформер, в нем вроде ошибок нет.
Код и ошибку подробно описал тут https://stackoverflow.com/questions/62018875/spark-flatmap-and-countvectorizer-pipeline
Для FlatMap написал свой Трансформер, в нем вроде ошибок нет.
Код и ошибку подробно описал тут https://stackoverflow.com/questions/62018875/spark-flatmap-and-countvectorizer-pipeline
PK
Привет! Делаю FlatMap and CountVectorizer pipeline, но не много не пойму как правильно счейнить - ругается, что не видит оутпута предыдущей операции.
Для FlatMap написал свой Трансформер, в нем вроде ошибок нет.
Код и ошибку подробно описал тут https://stackoverflow.com/questions/62018875/spark-flatmap-and-countvectorizer-pipeline
Для FlatMap написал свой Трансформер, в нем вроде ошибок нет.
Код и ошибку подробно описал тут https://stackoverflow.com/questions/62018875/spark-flatmap-and-countvectorizer-pipeline
Тебе там ответили вроде
DC
Тебе там ответили вроде
ага, сейчас протестирую.
upd: решение не помогло - проблема осталась
upd: решение не помогло - проблема осталась