Ребята, взываю к силе коллективного разума :)
1) я давно занимаюсь парсингами ...и это переросло в умение собирать структурированные данные с неограниченного количества сайтов. Я научился писать алгоритмы для извлечения ценовых данных (и распознавать ценные данные из названий товаров) и построил небольшую инфраструктуру для обхода десятков и сотен тысяч сайтов. Хочу превратить это в небольшой бизнес. Как вы думаете, где, помимо сбора цен, это может быть нужно? ...новости, вакансии... вот какие ещё датасеты можно собирать, в которых есть потребность? :) Может нужно кому? :)

2) если кому-то интересно - давайте делать вместе. Мне нужно разработчик в пару :)

тут задача чуть другая все же ) не "парсинг конкурентов" (обойти 10 сайтов и что-то сравнить), а "собрать полезные данные с 10 000 сайтов" :)

на примере новостей - это что-то типа:
- найти 5000 новостных сайтов
- автоматически выделить текст новости, заголовок, автора, дату, ссылки (если есть), категорию новости в пределах сайта
- собрать чистый датасет, с выделением каждого поля в отдельную колонку; без мусора из html-тэгов и т.п. )

на примере новостей - это что-то типа:
- найти 5000 новостных сайтов
- автоматически выделить текст новости, заголовок, автора, дату, ссылки (если есть), категорию новости в пределах сайта
- собрать чистый датасет, с выделением каждого поля в отдельную колонку; без мусора из html-тэгов и т.п. )

сделай услугу по сбору датасетов)

на примере новостей - это что-то типа:
- найти 5000 новостных сайтов
- автоматически выделить текст новости, заголовок, автора, дату, ссылки (если есть), категорию новости в пределах сайта
- собрать чистый датасет, с выделением каждого поля в отдельную колонку; без мусора из html-тэгов и т.п. )

а вы можете оценить стоимость своих работ или это лучше в личку? просто интересно