OR
всем привет) кто-то сталкивался с готовыми решениями для определения в тексте острых тем (религия, политика, расизм и т.п.)?
Size: a a a
2021 August 02
AZ
Была недавно целая работа на эту тему https://t.me/izolenta_mebiusa/170
OR
о, спасибо, гляну)
AS
Я правильно понимаю, что ограничение чекпоинтов Blenderbot в 128 токенов с HF, по смыслу такое же как у берта на 512 токенов? То есть я не могу расширить максимальную последовательность без переучивания
Моделька: https://huggingface.co/facebook/blenderbot-400M-distill/blob/main/config.json
Похожий вопрос: https://github.com/huggingface/transformers/issues/11868
В конфиге есть параметр max_position_embeddings, который я так понимаю задается перед трейном и не может быть изменен во время инференса, верно?
Моделька: https://huggingface.co/facebook/blenderbot-400M-distill/blob/main/config.json
Похожий вопрос: https://github.com/huggingface/transformers/issues/11868
В конфиге есть параметр max_position_embeddings, который я так понимаю задается перед трейном и не может быть изменен во время инференса, верно?
SP
Hi everyone
SP
I have few doubts in knowledge distillation, came here looking for help
SP
sorry about that, I am currently learning about Knowledge distillation and I have a small confusion. Is knowledge distillation only applicable on softmax activation function?
DD
Not only. You can apply similar mechanisms, for example, with linear activation (and MSE loss).
d
При загрузке модели для интерференса его можно поменять чем то вроде
С данной моделью не работал, но у меня был успех с моделью, которая училась на последовательность длиной X, а файнтюнилась на последовательноти длиной X/3
Перебил и заработало достаточно хорошо для моей задачи.
Про данный случай у меня сомнения, но проверить можно достаточно быстро
config = AutoConfig.from_pretrained('model_name', max_position_embeddings=xxx)
И отдачей этого конфига в код загрузки моделиС данной моделью не работал, но у меня был успех с моделью, которая училась на последовательность длиной X, а файнтюнилась на последовательноти длиной X/3
Перебил и заработало достаточно хорошо для моей задачи.
Про данный случай у меня сомнения, но проверить можно достаточно быстро
B
Всем привет, кто-нибудь работал над задачей извлечения названий юридических документов? Существуют ли какие-нибудь решения из коробки (yargy и тп)?
AS
В оригинальной статье, прямо написано про ограничение в 128 токенов. Не знаю как это просмотрел :)
"Models were trained with maximum context and response lengths set to 128 BPE tokens, and longer examples were truncated."
Если ставить max_position_embeddings больше или меньше, то получаешь runtime error сразу:
https://github.com/huggingface/transformers/issues/11868
"Models were trained with maximum context and response lengths set to 128 BPE tokens, and longer examples were truncated."
Если ставить max_position_embeddings больше или меньше, то получаешь runtime error сразу:
https://github.com/huggingface/transformers/issues/11868
IK
@cointegrated, кажется, где-то видел твою статью про "тиничку". не могу никак найти ссылку. можешь скинуть?
d
IK
спасибо!!
DD
Минутка занудства: слово tiny читается как "тайни"
M
Как герой с Dota 2. Причём что в игре это великан))
ДК
Сначала то маленький
D
А есть способ подружить эту модельку с tf? Пытался, не получалось.