может

но там вроде заголовок неудачный

это natasha-spacy

Всем привет!

А можно где-нибудь найти корпусы/логи общения с  голосовыми ассистентами, типа okey google, siri и т.п?

Сомневаюсь. Это же личные сообщения.
Посмотри аудио датасет Golos от сбер. Там правда только первые команды для виртуального помощника.

Всем привет! Прошу подкинуть идею)) Нужно разбить 1500 неразмеченных замечаний на классы. Всего встречается порядка 15 основных проблем. Как лучше это сделать?

поиск cos расстояний между замечанием и 15 тью наборами ключевых слов. Для сервиса не рекомендую, поддерживать такое невозможно будет. Так что стандартные алгоритмы классификации на какой ни будь бертообразной модели,

Наташа с этим помочь может?

хз, наташу не трогал.  но думаю наверняка может. я бы предпочел hugeface's transformers или spacy на BERT с scikit-learn или keras.так то нужен токенизатор и трансформер в нужную модель и DS тулкит какой то. про наташу тут есть кому рассказать, но это точно не я) на kaggle попробуй найти подходящую тетрадку и на ее основе реши задачу

Спасибо, стало заметно яснее!!!

ИМХО самое простое или  tfidf или ембеддинги, затем кластеризируйте (простых вариантов с десяток) и посчитайте по типу мешка слов ключевые слова для получившихся кластеров
UPD ключевые слова - те которые наиболее часто)

Спасибо!!!!

Ребят, хочу использовать rubert-base-cased на трансформерах для классификации, но нигде не могу найти пример использования( Может кто поделиться какими-то материалами?

Привет! Скажите, где можно посмотреть, как разрабатываются spaCy модели для русского?

Коллеги, у кого-нибудь было такое при использовании FastText:
env/lib/python3.8/site-packages/fasttext_pybind.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZNSt15__exception_ptr13exception_ptr10_M_releaseEv

Добрый день, коллеги, у меня есть два вопроса.
1) кому-нибудь когда-нибудь попадался корпус для question answering на основе текстов учебников (желательно STEM, лучше англоязычный)? И кто-то пытался когда-нибудь делать наоборот – не отвечать на вопросы, а наоборот их генерировать на основе текста? Видела пару статей, но хотелось бы спросить живых людей про плюсы, минусы, подводные камни.
2) и ближе к теме: ищу маленький корпус для классификации (search clarification) типа MIMICS, но на русском. Вдруг завалялся где?

1.2) я обучал t5 задавать вопросы по тексту (SberQUAD), работает сносно, а если аугментировать данные и ещё пофайнтюнить, думаю, будет совсем хорошо.

О, спасибо огромное! Это примерно то, что нужно, изучу! Мне их надо будет разбить еще по уровню сложности, но это уже эвристикой какой-нибудь :)