Ребят, помогите начинающему в Спарке) Как можно отдебажить приложение написанное на java. Spark на удаленном сервере. Использую Idea

дебажить спарк - затея очень сложная

проще всего на каждый промежуточный этап навесить какой-нибудь .count или .limit(10).show() и посмотреть, что вообще выдаёт

потому что когда это на 100 компах запускается, это отдебажить в принципе невозможно

ага, спасибо за совет

как вариант разбить на шаги и прогонять их в zepplelin, а так только логи писать, брекпоинт не поставишь :)

а потом еще выяснять почему упал зеплин

Почему не подебажить тот же код в локальном режиме? Понятно, что проблемы при масштабировании не потестишь, но бизнес-логику вполне.

очень много проблем бывает именно в данных, локальный выгрузил красивый кусочек, на нём работает, а на деле всё плохо...

local[1] ?

выкачать данные на которых падает и их локально отдебажить

В 99% случаев оно не падает)

А вылезает какой-нибудь null, или вообще сумма например не сходится)

семпл данных порандомней

Главное,  чтоб кокойнить коллектлист потом не попытался склеить полтаблицы

Проблемненько, но решил) Главное теперь определить на больших данных что вывод у меня правильный😆.

Кто сталкивался с кластеризацией? Я так понимаю по докам мне необходимо MLib использовать. Сама задача состоит в том чтобы кластеризовать группу предложений по словам.  Если какое то слово совпадает, то мы обединяем предложения в группу.

Например:

Ввод-> "Новая машина купить","купить самолет","Новая стиралка","Чудесная погода","Погода сегодня"

Вывод->
{"Новая машина купить","купить самолет","Новая стиралка"}
,{"Чудесная погода","Погода сегодня"}

Если тебе нужно просто объединить фразы по совпадению какого-то слова, то из MLLib тебе может быть нужен от силы Tokenizer (хотя и тут вполне будет просто split), а в остальном это просто преобразованиями решается.

Можно ли как то сделать join 2-ух Rdd по такому принципу.

Rdd1:
{"key":"id1","value"Hello"},
{"key":"id2","value" world!"}

Rdd2:
{{"key":"id1","id1,id2"},
{"key":"id2","id1,id2"}}

RddResult:
{"key":"id1","value"Hello world!"},{"key":"id2","value"Hello world!"}

ага, спасибо!