E
потому что они чувствительны к стоп-словам, знакам препинания и так далее
Size: a a a
2020 September 02
E
как понять? попробовать и сравнить
IR
Ну это понятно
E
мне лично tf-idf нравится больше, мне кажется, лучше передается отношение между значимыми словами и общими словами
IR
Думал может есть какой-то метод для этого
IR
мне лично tf-idf нравится больше, мне кажется, лучше передается отношение между значимыми словами и общими словами
Хмм советуешь его чаще юзать вместо сумочки ?
E
я советую попробовать и сравнить
E
опять же зависит тоже от классификатора
IR
Оки ясненько
E
с SVM лучше TF-IDF
E
возможно, какие-то модели лучше будут себя вести с bag of words
2020 September 03
R
Привет! ✋
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
NS
Привет! ✋
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
multilingual bert использовать
M
нашел пока вот такое – https://github.com/x88/i18nGeoNamesDB
вроде то что нужно
вроде то что нужно
раньше мы брали базу из maps.me там почти все было дублировано на русском
M
Привет! ✋
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
Начал изучать Bert и хочу применить предобученную модельку в качестве embedder.
Для моей задачи необходимо использование специфичных для предметной области слов. Насколько я успел изучить, существуют два способа:
1) Расширить словарь новыми токенами в надежде на то, что модель адекватно для них построит вектора
2) Обучить модель с нуля
Вопрос: насколько вообще рабочий первый подход? Основная проблема в том, что нужно использовать модель для русского языка, при этом новые токены на английском
И есть ли еще какой способ решения проблемы? Например, дообучить каким-то образом модель на данных из предметной области.
Русский Берт содержит английские токены. В обучающее выборке встречались английские слова. Так что отдельно токенов досыпать не нужно. Просто английские слова будут на большее количество сабтокенов разбиваться. Ну и как предложено выше - мультиязычный всегда можно.
VM
всем привет, я начинаю собирать секцию NLP для будущего ДатаФеста, в этом году мест в секции больше и каждому докладчику есть возможность выделить больше времени, записывайтесь: https://cutt.ly/Zd84Edh
всем привет, еще есть возможность запрыгнуть в уходящий поезд, подавайте заявки в форму и сразу готовьте короткое видео про свой доклад - видео про доклады нужны уже к понедельнику
R
Русский Берт содержит английские токены. В обучающее выборке встречались английские слова. Так что отдельно токенов досыпать не нужно. Просто английские слова будут на большее количество сабтокенов разбиваться. Ну и как предложено выше - мультиязычный всегда можно.
А если эти токены, условно, набор английских букв?
Кейс такой: есть русский текст, в котором встречаются смайлы в виде набора английских букв (не всегда есть семантика). Адекватными ли получатся такие эмбединги для всего предложения / слова?
Кейс такой: есть русский текст, в котором встречаются смайлы в виде набора английских букв (не всегда есть семантика). Адекватными ли получатся такие эмбединги для всего предложения / слова?
IK
А если эти токены, условно, набор английских букв?
Кейс такой: есть русский текст, в котором встречаются смайлы в виде набора английских букв (не всегда есть семантика). Адекватными ли получатся такие эмбединги для всего предложения / слова?
Кейс такой: есть русский текст, в котором встречаются смайлы в виде набора английских букв (не всегда есть семантика). Адекватными ли получатся такие эмбединги для всего предложения / слова?
это завиит от того, на каком корпусе обучался конкретый берт с конкретным токенизатором. Как понять, что токенизатор не пилит тови специфические "смйлы" и проч? Возьми этот самый токенизатор и натрави на строку с этими смайлами. Если ":D" не приваратилось в ":#D" или ": D", токенизатор в курсе про такую единицу как ":D", а если не в курсе, то файнтьюнинг на твоём корпусе с кучей таких смайлов тебе тоже даст результат.
v
R
это завиит от того, на каком корпусе обучался конкретый берт с конкретным токенизатором. Как понять, что токенизатор не пилит тови специфические "смйлы" и проч? Возьми этот самый токенизатор и натрави на строку с этими смайлами. Если ":D" не приваратилось в ":#D" или ": D", токенизатор в курсе про такую единицу как ":D", а если не в курсе, то файнтьюнинг на твоём корпусе с кучей таких смайлов тебе тоже даст результат.
То есть, нужно дообучить модель или токенизатор? И как вообще это можно сделать? Понимаю, что Берта можно зафайнтюнить для, например, классификации. Но если мне нужен от него только эмбеддер, то как тогда поступить?