Не включаю, т.к. вы получаете две разные сущности, например: МММ и "МММ".

Ну, в какой-то мере это - нормально, у нас же не entity linking, мы просто пытаемся понять, что кусок текста имеет некий класс :)

Но да, имеет смысл 👌

0) нормализовать до пары (Тип, Нормализованное имя).
Для типов собрать датасет сокращений ООО=Обществ* с ограниченной ответственност* , ШИЗТ = Школа-интернат закрытого типа, ИНФС = * Инспекция федеральной налоговой службы * (там префиксы и суффиксы бывают, районы указывают) , Ну вы поняли.
1) собрать датасет компаний, матчить по нему. Эта информация публичная, но по запросу. Там для каждой компании есть краткое и полное название.
2) для дублирования, и на случай, когда в базе записи нет, использовать как раз fuzzy + tfidf + сетки + эвристики.
В общем, всё как всегда.

Определение источников информации, распространяемой в соцсетях - важнейшая для информационных войн, и задачу решают ученые и прикладники в разных странах. На очередном научно-техническом вебинаре НТР и HITS ТГУ 28 сентября в 18:00 МСК Денис Катеренчук из CUNY будет рассказывать про определение влияния пользователя с помощью лингвистического анализа в соцсетях. В его работе используются методы, основанные на отличиях в стиле общения. Они-то и раскрывают информацию об авторах сообщения.

Регистрация: https://us02web.zoom.us/webinar/register/2816215991698/WN_tiWDqvq_SlyWgPpeEnsWfw

сейчас идет

Друзья, а кто из вас работает с pymystem3, как вы решали проблему того, что он регулярно кидает ошибку I/O operation on closed file?

:( открытием нового экземпляра, т.е.

mystem = pymystem3.Mystem()

заново...

эта ерунда из-за того, что pymystem обёртка, открывает пайп в ОС и косячит с ним видимо

Вопрос наверное глупый, но сходу не нашёл ответа на вопрос - как дообученную NER модель от deeppavlov запустить из докера?
Дообучил ner_rus_bert_torch на нижний регистр.

Ага, я так и догадался. Думал, может быть, кто-то уже разработал хак для того, чтобы она не косячила 🤔

Модель LASER, получение эмбеддингов предложений. Подскажите, пожалуйста, если у нас в предложении встречаются и русские слова, и английские, как передать аргумент lang для этого предложения?

Может лучше LABSE взять

И не мучаться

?

хорошо, посмотрю, спасибо!

У него фишка в том что слова про одно и тоже на разных языках имеют близкий эмбеддинг

Ну естественно и фразы