Ай простите "предзагрузка"

Это чем она заполнена, ниша-то? Яндекс Новости и Рамблер, Гугл Ньюс? ) ну они для масспотребы то сделали, основные категории два десятка для агрегатора новостей. Но это капля в море.

Для примера. Я зафиксировал у себя в классификаторе около 500 научных направлений и подразделений, всяких там  -логий и т.д. И это не полная цифра.

Если кому интересно посотрудничать в области обработки текстов, агрегации и фильтрации информации - пишите, пообщаемся. Может объединимся против монополистов )

Открыл канал @devnlp для общения на темы NLP, web data mining, агрегаторов и прочего смежного и не очень.

Есть много агрегаторов научных статей https://philologist.livejournal.com/9640668.html был даже сервис, который пользовался платными шлюзами американских университетов. (забыл как назывался)

Поиск по ключевым словам у Гугла достаточно неплохо работает.

да но гугл тебе не скажет а что там есть еще в этой выборке. когда я делал поиск основанный на классификаторе, например, то при вводе IBM система показывала в каких отраслях и категориях эта компания засветилась и в каком объеме. Многие вещи поисковики никогда не сделают, ибо работают только на массового потребителя

годная подборка. спасибо

А система сама распознавала тип новости про IBM или тип новости зависил от ресурса, его опубликовавшего или от тега, который поставил журналист?

Система первично классифицировала каждый документ по категориями и собственно потом шел полнотекстовый поиск по ним и дальнейшая фильтрация

очень даже годно) Это коммерческий продукт?

И можно ли экспортировать детализированный отчет в csv например. Или excel формат с графиками?

в 2016 году я делал агрегатор новостей Renodo с классификатором на 2000 категорий. из-за отсутствие инвестиций свернул проект до лучших времен. сейчас снова вернулся к своим наработкам и замутить несколько коммерческих  сервисов.

Собственно в Renodo можно было не только показать документ по нанотехнологиям, но и все предложения в документе по нанотехнологиям и другим категориям, которые присутствуют в документе. Это очень актуально для лонгридов со смешанной тематикой.

это резонный вопрос для всех агрегаторов и поисковиков - а что дальше то делать с этим 100500 ссылками на статьи?  моя концепция сервиса агрегатора как раз в том, чтобы не только выдавать эти ссылки, но и предоставить пользователю интерфейс по дальнейшей работе, делать выжимку, глубокую тонкую фильтрацию контента по множеству параметров.

Мне кажется что сервис, который мог бы легко отслеживать бизнес активность конкурентов, или потенциальных партнеров, мог бы стоить очень немало. По моему сервисы, отслеживающие тендеры и аукционы уже есть но сервиса, который со стороны отслеживает активность компании, пока она еще только собирается "выйти на рынок" и "начать искать подрядчиков" еще нет. (если я не ошибаюсь)

На энтузиазме можно сделать, конечно, но мотивации мало. По запросу «агрегатор новостей» столько результатов, что руки опускаются

Попробуйте что-то придумать с исходными данными) У меня на этот счет есть пара идей. Но соц сети не очень позволяют экспортировать активность пользователей, и предлагают собственные алгоритмы для анализа своей БД.

в первую очередь я делаю уникальный классификтор текста, он имеет широкое применение, будьто  анализа новостей или книг. вот сейчас я анализ книг запустил, накачал 200 гигов 😂

На чем написано?

также можно анализировать содержимое всего сайта/соцсети, и потом понимать на основе всего объёма текста про что сайт вообще

есть идеи фильтровать каналы телеграмма напримере, чтобы показать о чём вообще пишет канал больше