коннект с кафкой через rkafka, она небыстрая, но на наших задачах норм, еще консьюмеров добавил - и порядок
сейчас забираем данные в беск. цикле через
kafka_consumer <- rkafka.createConsumer(...)
while (TRUE) {
kafka_msgs <-
rkafka.read(kafka_consumer)
....
}
самая беда - что этот пакет постоянно в консоль выдает notices, которые не знаю как убрать ( но пока с этим живем
и по хорошему надо работать через simpleConsumer - что бы рулить указателями и коммитами самостоятельно, но пока нет на это времени, ну и задачи наши позволяют дубликаты и потерю нескольких сообщений