ДС
Жаль что не "покричали" в Сберовском DS чате. Мы бы юридических документов подкинули бы. ELMO на 1.2 гига обучали, но в принципе хоть 5 Гб собрать реально.
А есть в опенсорсе?
Size: a a a
2020 December 07
MK
А есть в опенсорсе?
Пока нет. Но можно обсудить.
MK
Sergei Markoff
Ещё можно докинуть.
👍🏿 отпишусь утром.
AT
Всем привет, подскажите пожалуйста)
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
ВГ
Всем привет, подскажите пожалуйста)
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
slot filling? - вообще в spacy/ fastText есть NER
GF
Всем привет, подскажите пожалуйста)
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
У меня вопрос, касаемый грузинского или как минимум английского языка
можно ли как-то обучать модель, чтобы она понимала, что Иван, Петя и тд -> имя и сама могла находить имя в каком-то документе?
или реальна пока реализовать, когда мы просто накладываем фильтр(ограничиваем область) и распознает этот кусочек?
то что вы ищите называется NER (Named Entity Recognition)
Для английского языка существуешь довольно много отлично работающих решений
Для английского языка существуешь довольно много отлично работающих решений
GF
с грузинским языком сложнее, но я думаю что тоже есть (по крайней мере в рамках мультиязычных библиотек)
AT
если мне именно не имена надо распозновать, а распозонвать символы/слова, и выделять их в отдельные блоки данных
то это тоже NER?
то это тоже NER?
GF
если мне именно не имена надо распозновать, а распозонвать символы/слова, и выделять их в отдельные блоки данных
то это тоже NER?
то это тоже NER?
Named Entity Recognition это в основном про имена, топонимы, адреса и так далее, можно обычно как-то дообучить или добавить на свой типе Entity.
Очень абстрактно формулируете вопрос, так не понятно что вам посоветовать
Очень абстрактно формулируете вопрос, так не понятно что вам посоветовать
AT
у меня есть блок файлов о счетах об оплате
и из каждого нужно вытащить именно нужные блоки ( это и поставщик, и сумма, и дата, и тд)
и из каждого нужно вытащить именно нужные блоки ( это и поставщик, и сумма, и дата, и тд)
GF
у меня есть блок файлов о счетах об оплате
и из каждого нужно вытащить именно нужные блоки ( это и поставщик, и сумма, и дата, и тд)
и из каждого нужно вытащить именно нужные блоки ( это и поставщик, и сумма, и дата, и тд)
даты, имена и названия организаций (с ними сложнее всего) можно будет вытащить с помощью той или иной библиотеки NER, суммы наверное можно просто регулярками. очень зависит от того как записан названия организаций, много ли их разных и используются ли сокращения
AT
а если я знаю примерное расположение на странице, то проще накладывать фильтр или ограничивать область распознавания?
GF
а если я знаю примерное расположение на странице, то проще накладывать фильтр или ограничивать область распознавания?
если вы можете отфильтровать заведомо лишнее - то лучше так и сделать, а распознавать только то что представляет ценность - сэкономите время
RS
если мне именно не имена надо распозновать, а распозонвать символы/слова, и выделять их в отдельные блоки данных
то это тоже NER?
то это тоже NER?
Токенизация. По заданным правилам
AO
Если счета одинакового формата, то простой substring по индексу может работать. Или поиск пл префиксу/регеспу: "Плательщик: *"
GF
Если счета одинакового формата, то простой substring по индексу может работать. Или поиск пл префиксу/регеспу: "Плательщик: *"
++
GF
проблемы начинаются если там зоопарк форматов и сокращений
GF
особенно в названиях фирм
AT
а случай, если данные меняют динамически, например была одна строчка, а потом список товаров
NER?
NER?
RS
а случай, если данные меняют динамически, например была одна строчка, а потом список товаров
NER?
NER?
сегментация