BS
BART и суммаризация подходит для этого. Есть библиотека Simple Transformers, в ней очень просто делать fine tuning предобученных моделей на своих данных.
Спасибо, недавно нашёл SimpleTransformers тоже, но пока руки не дошли попробовать
Size: a a a
2020 September 01
E
для экспериментов и тренировки это прямо находка, очень много времени экономит
KA
Привет всем : ) сейчас будет минутка спама
KA
Всем привет!
Новый сезон семинаров об NLP в Вышке откроет рассказ о RussianSuperGlue.
Аннотация: In this talk, we introduce an advanced Russian general language understanding evaluation benchmark -- RussianGLUE.
Recent advances in the field of universal language models and transformers require the development of a methodology for their broad diagnostics and testing for general intellectual skills - detection of natural language inference, commonsense reasoning, ability to perform simple logical operations regardless of text subject or lexicon. For the first time, a benchmark of nine tasks, collected and organized analogically to the SuperGLUE methodology, was developed from scratch for the Russian language. We provide baselines, human level evaluation, an open-source framework for evaluating models.
Докладчик: Alena Fenogenova
Chief specialist NLP R&D, CDS office, Sberbank
О докладчике:
Alena Fenogenova has a Master degree in Computational linguistics at the Higher School of Economics, Moscow.
She has a number of publications in NLP field. Now Alena works in Sberbank in NLP research team. Her research interests are language understanding, question answering, etc.
Форма регистрации: https://cs.hse.ru/ai/computational-pragmatics/announcements/394600693.html
Алгоритм регистрации: надо заполнить форму, ближе к семинару вам придет письмо с ссылкой на zoom и паролем.
Новый сезон семинаров об NLP в Вышке откроет рассказ о RussianSuperGlue.
Аннотация: In this talk, we introduce an advanced Russian general language understanding evaluation benchmark -- RussianGLUE.
Recent advances in the field of universal language models and transformers require the development of a methodology for their broad diagnostics and testing for general intellectual skills - detection of natural language inference, commonsense reasoning, ability to perform simple logical operations regardless of text subject or lexicon. For the first time, a benchmark of nine tasks, collected and organized analogically to the SuperGLUE methodology, was developed from scratch for the Russian language. We provide baselines, human level evaluation, an open-source framework for evaluating models.
Докладчик: Alena Fenogenova
Chief specialist NLP R&D, CDS office, Sberbank
О докладчике:
Alena Fenogenova has a Master degree in Computational linguistics at the Higher School of Economics, Moscow.
She has a number of publications in NLP field. Now Alena works in Sberbank in NLP research team. Her research interests are language understanding, question answering, etc.
Форма регистрации: https://cs.hse.ru/ai/computational-pragmatics/announcements/394600693.html
Алгоритм регистрации: надо заполнить форму, ближе к семинару вам придет письмо с ссылкой на zoom и паролем.
IK
Всем привет!
Новый сезон семинаров об NLP в Вышке откроет рассказ о RussianSuperGlue.
Аннотация: In this talk, we introduce an advanced Russian general language understanding evaluation benchmark -- RussianGLUE.
Recent advances in the field of universal language models and transformers require the development of a methodology for their broad diagnostics and testing for general intellectual skills - detection of natural language inference, commonsense reasoning, ability to perform simple logical operations regardless of text subject or lexicon. For the first time, a benchmark of nine tasks, collected and organized analogically to the SuperGLUE methodology, was developed from scratch for the Russian language. We provide baselines, human level evaluation, an open-source framework for evaluating models.
Докладчик: Alena Fenogenova
Chief specialist NLP R&D, CDS office, Sberbank
О докладчике:
Alena Fenogenova has a Master degree in Computational linguistics at the Higher School of Economics, Moscow.
She has a number of publications in NLP field. Now Alena works in Sberbank in NLP research team. Her research interests are language understanding, question answering, etc.
Форма регистрации: https://cs.hse.ru/ai/computational-pragmatics/announcements/394600693.html
Алгоритм регистрации: надо заполнить форму, ближе к семинару вам придет письмо с ссылкой на zoom и паролем.
Новый сезон семинаров об NLP в Вышке откроет рассказ о RussianSuperGlue.
Аннотация: In this talk, we introduce an advanced Russian general language understanding evaluation benchmark -- RussianGLUE.
Recent advances in the field of universal language models and transformers require the development of a methodology for their broad diagnostics and testing for general intellectual skills - detection of natural language inference, commonsense reasoning, ability to perform simple logical operations regardless of text subject or lexicon. For the first time, a benchmark of nine tasks, collected and organized analogically to the SuperGLUE methodology, was developed from scratch for the Russian language. We provide baselines, human level evaluation, an open-source framework for evaluating models.
Докладчик: Alena Fenogenova
Chief specialist NLP R&D, CDS office, Sberbank
О докладчике:
Alena Fenogenova has a Master degree in Computational linguistics at the Higher School of Economics, Moscow.
She has a number of publications in NLP field. Now Alena works in Sberbank in NLP research team. Her research interests are language understanding, question answering, etc.
Форма регистрации: https://cs.hse.ru/ai/computational-pragmatics/announcements/394600693.html
Алгоритм регистрации: надо заполнить форму, ближе к семинару вам придет письмо с ссылкой на zoom и паролем.
Привет, презентация будет на английском?
2020 September 02
M
Привет! А кто-то может подскажет, есть ли подобный проект, или его реализация (или компоненты) но для го?)
MS
Добрый день
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
DP
Добрый день
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
1) возьми словарь, сложи все буквы в словах, отсортируй
2) сложи буквы в твоем наборе
3) поиск
2) сложи буквы в твоем наборе
3) поиск
DD
Добрый день
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
Подскажите пожалуйста, существуют какие-то методы определить есть ли набор символов словом
Похоже на задачу спелл-чекера.
Самое надёжное решение - словарь))
Ну или если словаря нет, можно поскорить слово какой-нибудь посимвольной языковой моделью, но даже с хорошо подобранным порогом у нее наверняка будет куча ложных срабатываний на строках, которые выглядят похоже на настоящие слова, но не употребляются.
Самое надёжное решение - словарь))
Ну или если словаря нет, можно поскорить слово какой-нибудь посимвольной языковой моделью, но даже с хорошо подобранным порогом у нее наверняка будет куча ложных срабатываний на строках, которые выглядят похоже на настоящие слова, но не употребляются.
IR
Ребят какие модели лучше всего подходят для классификации текста? Важна скорость
DP
Ilkin Ramazanov
Ребят какие модели лучше всего подходят для классификации текста? Важна скорость
rnn
DP
ну или еще быстрее и тупее - bag of words
E
Скорость тренировки или скорость применения обученной модели?
IR
Скорость применения
IR
Хотя тренировка будет тоже неплохо
IR
А что-то из классических алгоритмов не подойдет?
E
SVM или если хочется нейросетей то простой MLP
DP
Ilkin Ramazanov
А что-то из классических алгоритмов не подойдет?
я ничего о них не знаю, извини
AS
ES
А это результат обучения/классификации или на вход приходит?