Walking In the Darkness
Можно и так сказать. Мониторить разное надо. Лучше всего вводить какое-то значение для поиска и включать нужные фильтры. Плюс хорошо бы можно было делать анализ данных на основе полученных данных. Подскажешь чего-нибудь?
Ну смотри, чтоб собрать данные есть в принципе три варика, от топовейшого до хуевейшего-
Работать напрямую с Api сервисов с которых хочешь брать инфу
Обычный парсинг, что-то типо "скачал .html нужной страницы, вытянул оттуда все нужное, взял следующую"
Ну и емуляция действий юзверя через Selenium web browser
Как хранить - зависит от данных, но универсальный варик - бд - там будет и поиск и фильтры и все в таком духе