начни с изучения rabbitMq, Redis (pub / sub) и Kafka. Посмотри их возможности ии ограничения, сделай вывод, какая очередь тебе подойдет больше. Дальше изучи доки детальнее этого брокера и почти все вопросы отпадут
План такой - сделать запрос (там надо отсеять от 100 тысяч десяток - но работать все равно надо будет с 85-90 тысячами - в будущем 400+/из 500 тысяч) и генератором перебрать чтобы не грузило память