ПФ
--packages ?
да!
Size: a a a
2020 July 08
G
А точно… надо двигаться в этом направлении 🙂
ME
Чат, а кто-то уже реализовывал external shuffle service для spark?
ME
Ну из вас, что у гугла есть я знаю;)
G
Другими словами не меняются имена — используются закешированные либы
Переименование не помогает
ПФ
Переименование не помогает
а вот теперь интересно. А что у тебя в логах хадупа? Он там листинг файлов должен делать
G
ок, буду посмотреть
G
в заголовке написал warning: skip remote jar и перечислил все jar что я ему прописал плюс основной
ПФ
то есть подтягивает правильные джарники?
ПФ
А откуда тогда идея что он подтягивает неправильные?
G
ошибка та же что и до изменений (как мне кажется)
Меня теперь смущает - skip remote jar -так он их подключил или скипнул - не понятно
Меня теперь смущает - skip remote jar -так он их подключил или скипнул - не понятно
ПФ
ошибка та же что и до изменений (как мне кажется)
Меня теперь смущает - skip remote jar -так он их подключил или скипнул - не понятно
Меня теперь смущает - skip remote jar -так он их подключил или скипнул - не понятно
деплой мод кластер и мастер ярн выставлены же?
G
ога
ПФ
ога
а попробуй закинуть свои джарники на хдфс и в jars указать пути к ним на hdfs
G
так я так и делаю
ПФ
а тогда давай наоброт попробуем — джарники забрать локально, и указать пути до них
G
идея - попробую
ПФ
так я так и делаю
этого, кстати, нигде написано не было )))
G
сорри
G
Я думал это по умолчанию предполагается 🙂