VG
Кому написать?
Size: a a a
2020 October 15
AK
Переслано от Anton Kolonin
t
уточню задачу. имеется в виду не набор символов а набор слов не имеющий смысла
V
@yuri_baburov привет! Подскажи пожалуйста, твоя модель ru2 может извлекать NER, такие как ФИО?
YB
@yuri_baburov привет! Подскажи пожалуйста, твоя модель ru2 может извлекать NER, такие как ФИО?
да.
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
V
да.
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
Я бы затестил! =)
AK
да.
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
https://github.com/natasha/naeval#ner , там есть докер с примером.
версию для 2.3 в течение ближайшей недели выложу, (пре-релиз без NER там уже лежит, версия с NER готова, могу индивидуально дать на тестирование.)
Планируется добавлять в реестр Spacy? Заливать наработки в их репозиторий
AC
Привет
AC
У нас завтра будет семинар по NER , можно по зум смотреть. Но не могу кинуть сюда об'яву - бот запрещает
AC
Вот в одс пост . Может кому интересно - присоединяйтесь .
AK
Коллеги, кто еще подскажет словари "плохих" слов и N-gram для русского и английского вроде вот этого? https://github.com/odaykhovskaya/obscene_words_ru (спасибо @yuri_baburov )
YB
Планируется добавлять в реестр Spacy? Заливать наработки в их репозиторий
да. NERUS-релиз они должны взять и выложить себе. я напишу им, когда дотестирую NER.
релиз получился хороший по качеству, но там можно ещё чуть-чуть улучшить.
релиз получился хороший по качеству, но там можно ещё чуть-чуть улучшить.
YB
Коллеги, кто еще подскажет словари "плохих" слов и N-gram для русского и английского вроде вот этого? https://github.com/odaykhovskaya/obscene_words_ru (спасибо @yuri_baburov )
для английского гуглились раньше .
для n-грамм: toxic comments kaggle challengs, если хочется n-граммы посчитать, то на большом количестве текста можно посчитать разницу n-gram между токсичными комментариями и английского текста, отфильтровать по порогу (скажем, что частота "плохой" нграммы должна быть в 10 раз выше, чем в датасете нормальных *разговорных* текстов).
ещё есть ru-sentiment и twitter mokoron, но там очень шумный датасет и именно для фильтрации мата они не подходят (но слишком негативные ответы вполне могут засечь)
для n-грамм: toxic comments kaggle challengs, если хочется n-граммы посчитать, то на большом количестве текста можно посчитать разницу n-gram между токсичными комментариями и английского текста, отфильтровать по порогу (скажем, что частота "плохой" нграммы должна быть в 10 раз выше, чем в датасете нормальных *разговорных* текстов).
ещё есть ru-sentiment и twitter mokoron, но там очень шумный датасет и именно для фильтрации мата они не подходят (но слишком негативные ответы вполне могут засечь)
AK
для английского гуглились раньше .
для n-грамм: toxic comments kaggle challengs, если хочется n-граммы посчитать, то на большом количестве текста можно посчитать разницу n-gram между токсичными комментариями и английского текста, отфильтровать по порогу (скажем, что частота "плохой" нграммы должна быть в 10 раз выше, чем в датасете нормальных *разговорных* текстов).
ещё есть ru-sentiment и twitter mokoron, но там очень шумный датасет и именно для фильтрации мата они не подходят (но слишком негативные ответы вполне могут засечь)
для n-грамм: toxic comments kaggle challengs, если хочется n-граммы посчитать, то на большом количестве текста можно посчитать разницу n-gram между токсичными комментариями и английского текста, отфильтровать по порогу (скажем, что частота "плохой" нграммы должна быть в 10 раз выше, чем в датасете нормальных *разговорных* текстов).
ещё есть ru-sentiment и twitter mokoron, но там очень шумный датасет и именно для фильтрации мата они не подходят (но слишком негативные ответы вполне могут засечь)
YB
Онлайн семинар по ML/DS от "SBERLOGA" (https://www.youtube.com/c/SBERLOGA)
:watch: Пятница 16 октября 17.00 по Москве
:male-scientist: Доклад: Прохор Гладких и Семен Сорокин (Cбер): "Задача NER. Hands-on experience"
* Постановка классической задачи NER
* Эволюция SOTA решений
* Практические проблемы и как мы их решали: Кодировка IO/BIO/..., претренированные веса, длина сэмпла, пересечение сущностей, подтипы, супер-длинные сущности, структура документа, etc
* Наш опыт: BERT-based модели, SPERT, Elmo-based модели, Sentence level NER
* Следующий шаг: ImageNER
:speech_balloon: Ссылка на зум:
https://us02web.zoom.us/j/81647783013?pwd=cWNoWk0vSlR2bFdpTlhzSXJNY0RlQT09
Meeting ID: 816 4778 3013
Passcode: 646595
:memo: Дополнительная информация в телеграм чатах: https://t.me/sberlogadataclub
https://t.me/sberlogawithgraphs
:watch: Пятница 16 октября 17.00 по Москве
:male-scientist: Доклад: Прохор Гладких и Семен Сорокин (Cбер): "Задача NER. Hands-on experience"
* Постановка классической задачи NER
* Эволюция SOTA решений
* Практические проблемы и как мы их решали: Кодировка IO/BIO/..., претренированные веса, длина сэмпла, пересечение сущностей, подтипы, супер-длинные сущности, структура документа, etc
* Наш опыт: BERT-based модели, SPERT, Elmo-based модели, Sentence level NER
* Следующий шаг: ImageNER
:speech_balloon: Ссылка на зум:
https://us02web.zoom.us/j/81647783013?pwd=cWNoWk0vSlR2bFdpTlhzSXJNY0RlQT09
Meeting ID: 816 4778 3013
Passcode: 646595
:memo: Дополнительная информация в телеграм чатах: https://t.me/sberlogadataclub
https://t.me/sberlogawithgraphs
AC
Онлайн семинар по ML/DS от "SBERLOGA" (https://www.youtube.com/c/SBERLOGA)
:watch: Пятница 16 октября 17.00 по Москве
:male-scientist: Доклад: Прохор Гладких и Семен Сорокин (Cбер): "Задача NER. Hands-on experience"
* Постановка классической задачи NER
* Эволюция SOTA решений
* Практические проблемы и как мы их решали: Кодировка IO/BIO/..., претренированные веса, длина сэмпла, пересечение сущностей, подтипы, супер-длинные сущности, структура документа, etc
* Наш опыт: BERT-based модели, SPERT, Elmo-based модели, Sentence level NER
* Следующий шаг: ImageNER
:speech_balloon: Ссылка на зум:
https://us02web.zoom.us/j/81647783013?pwd=cWNoWk0vSlR2bFdpTlhzSXJNY0RlQT09
Meeting ID: 816 4778 3013
Passcode: 646595
:memo: Дополнительная информация в телеграм чатах: https://t.me/sberlogadataclub
https://t.me/sberlogawithgraphs
:watch: Пятница 16 октября 17.00 по Москве
:male-scientist: Доклад: Прохор Гладких и Семен Сорокин (Cбер): "Задача NER. Hands-on experience"
* Постановка классической задачи NER
* Эволюция SOTA решений
* Практические проблемы и как мы их решали: Кодировка IO/BIO/..., претренированные веса, длина сэмпла, пересечение сущностей, подтипы, супер-длинные сущности, структура документа, etc
* Наш опыт: BERT-based модели, SPERT, Elmo-based модели, Sentence level NER
* Следующий шаг: ImageNER
:speech_balloon: Ссылка на зум:
https://us02web.zoom.us/j/81647783013?pwd=cWNoWk0vSlR2bFdpTlhzSXJNY0RlQT09
Meeting ID: 816 4778 3013
Passcode: 646595
:memo: Дополнительная информация в телеграм чатах: https://t.me/sberlogadataclub
https://t.me/sberlogawithgraphs
🔥🔥🔥 спасибо!
AK
Запись то будет?
AC
Запись то будет?
Да, если накладок не будет.
AC
Там же где другие записи - ссылка вначале объявления. Через пару дней обычно