SМ
Я бы оттуда взял идею и приземлил
Size: a a a
2021 July 27
FF
Мне в tinybert нравится дистилляция промежуточных представлений, простая и логичная идея
SМ
Переслано от Дмитрий Симаков...
SМ
Не говори, гениально
SМ
Но даунстрим супервайзд таске это лучше чем логиты дистиллить
SМ
Еще модель логику слоев наследует
SМ
А не только через конечное отображение
FF
Хорошо, если так будет на бенчмарках сравнения русских дистилл моделей
SМ
Кстати Давид так же учил параллельно с сентенс ранкинг таской дистилляцию ток cls sentence embedding
SМ
А теперь шагнем вперед и добавим дистилят к промежуточным стейтам
SМ
И думаю будет веселее
K
Товарищи, а отчего если брать токенизатор для гпт3 сберовской с huggingface, то он содержит всего 50 тысяч слов? И многие очевидные слова, например лапша, разбивает на субтокены
IG
Так в субтокенах и смысл, словари имено уровня субтокенов. Потому что пословные словари огромны, а softmax медленный. Для мультиязычных моделей пословные словари вообще превращаются в ад.
А вообще, rtfm: https://huggingface.co/transformers/tokenizer_summary.html
А вообще, rtfm: https://huggingface.co/transformers/tokenizer_summary.html
K
Но как мне из эмбеддингов субтокенов, условно говоря, получить эмбеддинг слова, не присутствующего в словаре?
IG
любым пулингом: усреднение, максимум, что-то более сложное
но главный вопрос - а зачем?
но главный вопрос - а зачем?
AW
Оно не даёт себя открыть под версией где onnx работает
d
Токенайзер уже умеет, как резать предложения на нужные нейронке id:
input_encodings = tokenizer(example_batch['input_text'], max_length=256, truncation=True)Так и из этих номеров, полученных от нейронки, склеивать готовый текст:
tokenizer.decode(out[0], skip_special_tokens=False)
AO
Странно, onnx заявляет об backward compatibility (https://www.onnxruntime.ai/docs/resources/compatibility.html) .
AP
Привет всем! Подскажите, пожалуйста, существует ли для русского языка ner для денежных сумм, помимо DeepPavlov-модели?
K
Natasha