AW
когда модель из под скрипта дергаю, когда добавляю модель - ничего
Size: a a a
2021 July 07
AC
AZ
Делали, если хотя бы на уровне фраз сказано одним языком. Если иностранные слова прямо в фразе другого языка - проще модель того языка дополнить этими словами. Что касается фраз - следует распознать язык фразы, затем использовать нужную модель. Мультиязычная модель нормально не завелась, но не исключаю, что в принципе это возможно.
S
Anybody looking for 1 month working as summer intern... With good python and django knowlegde ... With nlp understanding. Plz msg ur earlier project detail.
N
N
обновили на свежем релизе UD
d
Anaphora resolution project? 😂
S
Yes
TM
Продолжаю вопросы по "сунул BERT как модель SpaCy". С BERT ом познакомился буквально вчера, потому пару тупых вопросов:
1) можно ли называть эмбедингами 768 мерные вектора используемые BERTbase (
2) есть ли смысл строить на такой модели классификацию на основе similarity входящей фразы с контрольными "ключевыми фразами"
3) если 2 пункт - глупое решение, то необходимо предобученный BERT дообучить под свои задачи с помощью API SpaCy (https://spacy.io/api/data-formats#training) или же
вообще отказаться от использования SpaCy если учесть что лексические свойства объектов SpaCy использоваться не будут?
PS - задача классифицировать краткие фразы (3-4 токена)
1) можно ли называть эмбедингами 768 мерные вектора используемые BERTbase (
xx_paraphrase_xlm_r_multilingual_v1) ?
2) есть ли смысл строить на такой модели классификацию на основе similarity входящей фразы с контрольными "ключевыми фразами"
3) если 2 пункт - глупое решение, то необходимо предобученный BERT дообучить под свои задачи с помощью API SpaCy (https://spacy.io/api/data-formats#training) или же
вообще отказаться от использования SpaCy если учесть что лексические свойства объектов SpaCy использоваться не будут?
PS - задача классифицировать краткие фразы (3-4 токена)
d
А на сколько классов классифицировать?
TM
сейчас 15, и подход описанный в пункте 2 отрабатывает. но к концу проекта количество классов может вырасти еще на 50% процентов.
TM
пример фраз для одного из классов, что бы понимать что длина действительно крайне незначительная :
линия поддержки,взятка,хочу сообшить о взятке, сообшить о превышении долностных полномочий, конфликт интересов, горячая линия, жалоба, заявление, горячая линия, обращение от сотрудника, преступления, нарушение
AW
d
Как ненастоящему NLPнику мне не понять отчего не взять свежий понравившийся ноутбук на Кагле из классификации чего угодно Бертом от Hugging Face, где не [CLS] используют для полносвязной классифицировалки, а какой-нибудь пулинг, а если влом, то AutoModelForSequenceClassification с понравившимся Бертом с хаба HF
Две эпохи зафайнтюнить и закончить на этом )
Если бы мне хотелось сравнивать эмбединги предложений, я бы начал с https://github.com/UKPLab/sentence-transformers
Не всех бертов выходы можно по cousine distance сравнивать. Некоторые никто каким-нить триплет лоссом на это не учил.
Две эпохи зафайнтюнить и закончить на этом )
Если бы мне хотелось сравнивать эмбединги предложений, я бы начал с https://github.com/UKPLab/sentence-transformers
Не всех бертов выходы можно по cousine distance сравнивать. Некоторые никто каким-нить триплет лоссом на это не учил.
TM
Спасибо . В любому случае вы не видите никакого смысла засовывать все это в SpaCy?)
d
Я так себе показатель в вопросе сувать или нет
Ребята говорят: нравятся нам пайплайны от SpaCy
Ребята говорят: нравятся нам пайплайны от SpaCy
d
Но страдать со SpaCy ради SpaCy я бы не стал )