ну пихаешь дубликат данных в редис, когда новые данные пришли смотришь редис, есть ли там такая запись, если есть то пропускаешь, если нет добавляешь в масив
редис работает быстро по тому что он хранит данные в оперативной памяти, а это значит что если у тебя будет дохреналион данных то тебе и оперативки дохрена надо