python модуль newspaper есть еще для выделения главного текста страницы

GitHub - codelucas/newspaper: News, full-text, and article metadata extraction in Python 3. Advanced docs:
https://github.com/codelucas/newspaper

Он работает по типу шаблонов, не все сайты разпарсить может, нужно отдельно проверять.

Коллеги из scrapinghub смотрели, мой python-readability лучше по качеству, чем newspaper3k

а есть ли что-то специализированное как раз под коммерческие коммерческие страницы ? задача извлекать характеристики/описания с карточек товаров и листинги ?

Обращайтесь к scrapinghub

извиняюсь, перепутал имя компании. правильно — scrapinghub:
"мы опубликовали сравнение библиотек для извлечения текста статьи из веб-страниц: https://github.com/scrapinghub/article-extraction-benchmark - выложили датасет (всего 181 статьи), скрипты для оценки и подробное описание как что делали в PDF. Из open-source библиотек выиграл https://github.com/buriy/python-readability от @buriy 🎉
Из коммерческих скромно мы (старались чтобы всё было честно), сравнивали только с diffbot."

спасибо!

о, python readability ваш
мое уважение

пользовался им одно время

О, я такую же задачу сейчас решаю. Но у меня размеченный (правда дисбалансный массив). Расскажешь потом, как твой метод сработал? Я лично пробую lstm сетку сейчас.

А какие сейчас условия у GPT-3?  Вот я видел сайт https://philosopherai.com

я так понимаю они получили доступ к gpt-3. Он платный или пока бесплатный тестовый?  Есть ли там лимиты?

Кто-нибудь пробовал векторизовать документы для кластеризации, и если да, какой способ лучше всего работал?

Зависит для чего кластеры, сколько их

Привет!
Существует ли библиотека для Python, поставляемая с претренированными моделями (хотя бы для английского, в идеале ещё финский и датский) для классификации текстов?
Хочется что-то типа того, что у Google (см. скриншот), только в виде offline библиотеки.
// Я находил кучу решений для классификации текста, но все они требовали обучения на датасете.

А на какие классы ты хочешь классифицировать?
Обычно обучение нужно именно потому, что классы всем требуются разные :)

Я начал писать бота для изучения языков. Сейчас у меня уже работает добавление произвольных слов из словаря. Хочется сделать так, чтобы пользователь мог задать класс (к примеру, Computing), и ему сыпались предложения про компьютеры, программирование и всё такое. Предложения планирую брать из корпуса, предварительно снабдив их классами.
Если есть более элегантное решение хотелось бы его услышать.
// Если что, то я делаю бесплатного бота с открытыми исходниками.

Если у тебя заранее списка классов нет, то можно применить к твоему корпусу какой-нибудь алгоритм кластеризации (их много, возьми хоть sklearn, и они работают почти из коробки, надо пару параметров потюнить, типа числа кластеров), и сделать кластеры - классами.