я  тоже использую аналогичное - MUSE, но отобрав с помощью его кандидатов по семантике, необходимо следовать еще и формальному (посимвольному) сходству строк.
тот же Левенштейн сам по себе показал себя плохо

спасибо. ушел смотреть)

Добрый день! А может кто-нибудь посоветовать инструменты или библиотеки для извлечения сущностей и процессов из текста, причём именно неименнованых, а в целом, например заказ, функция и соответственно оформление заказа, выполнение функции и т.д.? Заранее спасибо!

у вас похоже на поиск ключевых слов. и никто не мешает использовать подход NER, только вместо имен - ваши ключевые слова

Всем привет! Не сочтите за спам, но меня попросили распространить информацию про такое мероприятие: "IT-технологии для сохранения и развития языков коренных малочисленных народов Севера, Сибири и Дальнего Востока РФ" — пройдет оно *уже не только очно в Москве, но и онлайн* 16 сентября, организаторы ищут спикеров. Несмотря на название, приветствуются рассказы про технологии в отношении языков России в целом. Может, кому есть что рассказать и/ли есть желание пообщаться:) Пишите +7 967 912-08-90 (Николай) или мне, я перенаправлю).

Приветствую! Поделитесь, пожалуйста, опытом разработки автодополнения / прогнозирования клиентских текстовых запросов (для сферы e-commerce). Заранее спасибо!

Мне кажется, это больше похоже на суммаризацию текста - выделить наиболее важные предложения в тексте (TextRank), затем синтаксический разбор получившегося реферата, чтобы понять какие там сущности, и что с ними делается.

Спасибо за идеи, буду изучать👍

вы можете и так рассматривать задачу.
ИМХО,  тот кто обратился за помощью, он спрашивал немного о другом

Ну, вот у меня есть коллекция нормативных документов моей организации, я хочу автоматизировать составление карты процессов. Либо я должен где-то найти список сущностей для типовых бизнес-процессов в близких отраслях, либо написать модель, которая сама предложит сущности и нарисует граф взаимосвязей между ними.

Всем привет!
Нужен совет от сообщества)

Мне необходимо разработать ODQA для коллекции текстов на РУССКОМ языке. Сейчас смотрю в сторону DeepPavlov.

Подскажите, у кого-нибудь есть еще идеи относительно фреймворков и, может, есть под рукой примеры реализации?

Есть на базе T5 от  @cointegrated

или там не ODQA а SQUAD

кажется второе и я ошибся

ODQA - это общий вид задачи "вопросы на произвольную тему".
У меня в T5 только кусочек пайплайна для решения этой задачи, который отвечает на вопрос по короткому абзацу текста.
Дополнительно нужна база знаний, откуда этот абзац можно вытаскивать, и поисковая система, чтобы его там находить.

а у deepPavlov она на базе википедии?

Да

Это даже лучше - меньше мощностей будет задействовано.

А поисковую систему на чем лучше реализовать?
На ум приходят пока регулярки - они быстрые и бьют в лоб.

Классика - это даже не регулярки, а обратный индекс и какой-нибудь tfidf или bm25.

Хотя не, вру. Классика - это elastic и всё из коробки)