AW
Приветствую, кто нибудь занимался выделением в семантическом анализе экспрессивных комментов?
Size: a a a
2020 December 26
KK
Ну вот ,это просто архитектура ,а seq2seq способ подачи
Аа. Вроде понял. Спасибо!
GF
Приветствую, кто нибудь занимался выделением в семантическом анализе экспрессивных комментов?
Надя Зуева вроде занималась
SМ
Krep Kospit
Аа. Вроде понял. Спасибо!
SМ
Цикл статей в переводе, но есть ссылки на оригинал
SМ
Там грамотно поставленны переходы от базы seq2seq к сложному на базе seq2seq
KK
О! Зря я не искал на русском сразу...
SМ
Mechanics of Seq2seq
SМ
Даже красивее звучит как-то)
SМ
Чем способ подачи
SМ
Механики...
DD
Согласитесь, что при обучении трансформера на MLM мы подаем данные seq2seq?
Вообще не обязательно.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
SМ
Вообще не обязательно.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
Дык всеравно seq2seq
SМ
Про длинну и последовательность это уже разные механизмы
SМ
Вообще не обязательно.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
seq2seq - это генерация по входной последовательности Х выходной последовательности У, причем так, что их длины и порядок не связаны. Например, перевод с одного языка на другой.
Некоторые модели-трансформеры с MLM задачей так и работают, например T5. Но другие трансформеры с MLM (например, BERT) организованы более просто - они выдают по одному предсказанию для каждого элемента Х. То есть да, на входе тоже получается последовательность У, но она в точности той же длины, что и Х, и в том же порядке.
Но замечание важное, тк тут описаны тонкости в позиционирование
KK
А такой вопрос: прочитал, что one-hot кодирование уже неактуально, т.к. есть во фреймворках Embedding - слои. И можно не заниматься созданием гигантских таблиц, а, скажем, пронумеровать все уникальные слова или символы. Это так?
A
это примерно то же самое, нет?
KK
Я не уверен. Либо one-hot таблица 5000 * 5000 слов-векторов, либо вектор 5000 идентификаторов слов
DD
это примерно то же самое, нет?
Математически - примерно то же, вычислительно - эмбеддинги могут быть чуть эффективнее, т.к. огромные матрицы с почти одними нулями не создаются
KK
Математически - примерно то же, вычислительно - эмбеддинги могут быть чуть эффективнее, т.к. огромные матрицы с почти одними нулями не создаются
Ага, то есть, дело в ресурсах?