D
Преимущество только одно, java если ml делается (вдруг) на java. Омонимии напр. замок (устройство) и замок (строение) не различаются. Коллизии замок (от замокнуть под дождем) и замок (строение) - различаются
Size: a a a
2021 September 21
AK
Сформирована программа воркшопа по интерепретируемой обработке естественного языка (INLP) в рамках конференции по общему искусственному интеллекту AGI-2021 в Калифорнии, США 15-18 октября 2021 года. Семинар пройдет онлайн и оффлайн, регистрация только на воркшоп онлайн - на сайте https://aigents.github.io/inlp/
VS
Добрый день! Подскажите пожалуйста по нескольким вопросам:
1. Есть ли какая-то модель обученая на извлечение бизнес-процессов из текста, либо какая-то технология?
2. Какой объем данных должен быть для адекватного обучения моделей, например если мы хотим сделать свой NER, то какой объём размеченного текста нам нужно будет, чтоб мы могли получить результат?
Буду признателен за подсказки и варианты.
1. Есть ли какая-то модель обученая на извлечение бизнес-процессов из текста, либо какая-то технология?
2. Какой объем данных должен быть для адекватного обучения моделей, например если мы хотим сделать свой NER, то какой объём размеченного текста нам нужно будет, чтоб мы могли получить результат?
Буду признателен за подсказки и варианты.
2021 September 22
SK
Привет. Мы стартап в области NLP. Ищем на аутсорса человека с опытом в Text Summarization (multidoc).
SK
С перспективой конверсии в ко фаундера. Напишите, если интересно.
B
🔫 @MarioWinans кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@mr_B1onde, @nud1e, @Gofat, @stepvasya, @Roman_Yudichev
При поддержке Золота Бородача
Проголосовавшие за кик:
@mr_B1onde, @nud1e, @Gofat, @stepvasya, @Roman_Yudichev
При поддержке Золота Бородача
DS
Всем привет!
Сегодня вечером вместе с Андреем Латышем из Provectus на вебинаре "From research to product with Hydrosphere" поговорим про превращение ML исследования в продукт с использованием Hydrosphere. Присоединяйтесь!
https://dataphoenix.info/webinar-the-a-z-of-data-from-research-to-product-with-hydrosphere/
Сегодня вечером вместе с Андреем Латышем из Provectus на вебинаре "From research to product with Hydrosphere" поговорим про превращение ML исследования в продукт с использованием Hydrosphere. Присоединяйтесь!
https://dataphoenix.info/webinar-the-a-z-of-data-from-research-to-product-with-hydrosphere/
A
Коллеги, а как можно выделять именованые сущности по контексу? Т.е. я знаю слова которые идут перед ИС и после. Спасибо
AM
Для тех, кто, возможно, будет решать подобную задачу после меня, гуглить (кэгглить, гитхабить) нужно fuzzy matching. Библиотеки соответствующие даже есть. FuzzyWuzzy (которая теперь TheFuzz https://github.com/seatgeek/thefuzz) или вот PolyFuzz https://github.com/MaartenGr/PolyFuzz , который через Flair даже трансформеры умеет. Но в целом, как я понял, бейзлайн (если тут можно употребить этот термин) - это использовать TfIdf. Хотя вот Майкрософт предлагает сетки учить: https://www.microsoft.com/en-us/research/uploads/prod/2019/04/Auto-EM.pdf
A
ну и как сопоставить
ПАО "ММК", Магнитогорский Металлургический Комбинат и "Магнитку"?
ПАО "ММК", Магнитогорский Металлургический Комбинат и "Магнитку"?
AM
Так в этом как раз мой вопрос и есть! ) Я пока 100% решения не нашел. Ищу. Делюсь просто тем, что пока нашел. Если у вас вдруг есть ответ, то буду рад, если поделитесь! )
М
Привет.
Коллеги подскажите, есть ли способ используя готовые реализации BPE сворачивать в один токен n-граммы слов.
Например: "менеджер по продажам" свернуть в 1 токен.
Коллеги подскажите, есть ли способ используя готовые реализации BPE сворачивать в один токен n-граммы слов.
Например: "менеджер по продажам" свернуть в 1 токен.
AK
надежно только через настройку синонимов по каждой энтити
AK
а "менеджер продаж" это другой токен будет?
AM
Количество "энтитей" = количество юрлиц в РФ ;)
чо-та как-то я не уверен, что у меня есть мощности на разметку такого датасета
чо-та как-то я не уверен, что у меня есть мощности на разметку такого датасета
М
тут наверно уже 2 токена предпочтительно.
AK
А иначе будут ошибки. Причем они будут даже если полный список будет, потому что омонимия будет по одноименным оошкам в разных регионах.
AK
А где логика? Критерий свертки?