Выглядит правильно. Попробуй разбить на куски. Сначала просто считать и показать, что данные есть. Затем записать.
изначально так и было, собрал в кучу что бы гист был в один экран вместо двух... пока весь этот код умещался в работу через RDD проблем не было, но как только мне потребовалось писать поток данных на выходе в два разных топика… вообще я уже неделю занимаюсь этими приключениями… уже готов заплатить за консультацию, что бы решить эту проблему в конце концов.