VP
вообще мне желательно просто какие-то результаты получить, возможно даже вовсе не получить никакого результата)
А заказать датасет где ошибки исправлены?
К тому времени и стажировка закончится
Size: a a a
2021 July 05
ДС
У тебя все равно единственная информация - это нетипичные слова для текущего контекста. Берёшь норм распознанные тексты, рандомно кораптишь слова. И пытаешься предсказать правильно. Просто как исправление опечаток.
ДС
Только ещё надо учесть, что некоторые слова могут сливаться в одно или одно разбиваться на несколько.
d
Ну то есть учиться нужно на нормальных текстах из домена, а не вот этом вот всём
VP
возможно что-то будет. Я попросил воспроизвести чаты говорилкой и пропустить через распознавалку, не знаю только, поможет ли это
ДС
А чья распознавалка речи?
ДС
У меня есть датасет из 100к сообщений, которые сначала озвучили, потом наложили шум, потом распознали.
ДС
Но это синтетика.
VP
Я не помню)
ДС
То есть доступны пары текстов. Исходный и «распознанный».
K
Всем доброго вечера, я пока совсем нубяра, поэтому могу прям глупые вопросы задавать. Есть задача из большого списка названий контрагентов (записаных как кому казалось правильно) вытащить ИПшников.
Первое что приходить в голову это тащить gram «Name» из токенизатора, проблема в том что токинизатор выдает список. Вопрос такой, гарантирует ли токенизатор MorphTokenizer сортировку по скору?
Первое что приходить в голову это тащить gram «Name» из токенизатора, проблема в том что токинизатор выдает список. Вопрос такой, гарантирует ли токенизатор MorphTokenizer сортировку по скору?
K
еще буду рад всяким комментарием по подходу к задаче
MO
А в списке инн, огрн нет?
K
инн только у юр лиц есть, огрн нет
MO
Если инн указан только для юрлиц, но все без инн по этой логике- ип. Нет?
K
не, там не у всех юр лиц он есть
K
этот справочник их хрен пойми чего сделан, попросили покрутить перед загрузкой в mdm
MO
1. ИП - не юридическое лицо, а статус физического лица.
2. Узнайте по инн ИП это или ООО(или другая форма) через егрюл или сервис типа дадаты
2. Узнайте по инн ИП это или ООО(или другая форма) через егрюл или сервис типа дадаты