Ребят всем привет, хочу с вами посоветоваться
Я делаю парсер ебея, для парса запчастей проданных на разные машины
У меня список из 14 000 вариантов разных машин (год+марка+модель)
И список из примерно 250 запчастей (фара, капот, зеркало и тд)
На выходе сервис должен делать примерно следующее: юзер выбирает марку+модель+год, ему выдается, какие запчасти на эту машину чаще всего продаются и по какой цене
Я вот думаю, как лучше сделать - по уму, надо бы раз в какое-то время парсить все варианты (14000 * 250 = 3 500 000 запросов к ебею) И потом уже отдавать юзеру из своей БД
Или просто отдавать на лету - т.е человек выбрал машину - отправилось 250 запросов на ебейчик, получил ответ, но то будет занимать много времени
Посоветуйте, кто занимался чем-то подобным, как лучше сделать?