d
Size: a a a
2021 September 15
TM
Блин так разметка данных очень дорого обойдётся ) я скорее про получение one hot при классификации автоматом . Модель же считает loss, значит в кишках где то и есть возможность вернуть {3:0.85, 1:0.1, 2:0.05} вместо просто 3. Но видимо через интерфейс simpletransformers не получится
d
И это есть там
model_outputs же доступен (predict возвращает второй сущностью)
model_outputs же доступен (predict возвращает второй сущностью)
d
Думаю, там логиты будут, но ничто не мешает софтмакснуть их
TM
то есть такой объект можно вернуть и с ClassificationModel?
d
Ну вот оно же https://simpletransformers.ai/docs/binary-classification/
в 38й и 41й строке примера )
в 38й и 41й строке примера )
A
Коллеги, query, key и values это ведь все обучаемые вектора? Градиентным спуском?
TM
спасибо, запускаю как раз
МА
Привет. А кто-нибудь пользует Yandex.DataSphere?
Я вот решил попробовать, чтобы не мучить ноутбук. Даже %pip install не могу исполнить. Говорит нет сети. К подсетке, куда включен блокнот - нат включил. Не помогло.
Может кто знает как заставить это работать?
Я вот решил попробовать, чтобы не мучить ноутбук. Даже %pip install не могу исполнить. Говорит нет сети. К подсетке, куда включен блокнот - нат включил. Не помогло.
Может кто знает как заставить это работать?
TM
так точно)
d
Точно нет. Механизмы внимания, кстати, есть разные.
d
Но, как вариант, мы учим градиентным спуском три матрицы (по сути отдельные нейросетки)
И вот мы перемножаем эмбединги на первую такую матрицу и у нас на выходе вектор query
И вот мы перемножаем эмбединги на первую такую матрицу и у нас на выходе вектор query
A
Да, точно, спасибо, через промежуточные три матрицы, каждая матрица для всех векторов одного типа(например для query)
IS
попробуйте сюда написать: https://t.me/yandex_datasphere
МА
Спасибо
AF
для старта можно просто взять абзацы и по ним сделать кластеризацию и выбрать по кластерам ключевые слова и посмотреть что получилось)
UPD Даже, наверное будет лучше, сначала документы прогнать через кластеризацию, чтобы инструкции в одну сторону, статьи в другую, а новости в третью) Это если получится. А ужа затем в рамках документов из кластера углубляться в детали)
UPD Даже, наверное будет лучше, сначала документы прогнать через кластеризацию, чтобы инструкции в одну сторону, статьи в другую, а новости в третью) Это если получится. А ужа затем в рамках документов из кластера углубляться в детали)
d
А чем продвинутые ребята делают Under-sampling, если хочется, например, уменьшить датасет в 10 раз, но оставить самые разнообразные примеры?
И чтобы это не занимало вечность
И чтобы это не занимало вечность
M
#jobs_Hr
Платим 1000$ за рекомендацию NLP Engineer!
К нам в Metinvest Digital R&D очень нужен NLP Engineer. Ищем уровня Middle/Senior.
Задачи такие, как, conversational solutions, text parsing, mood analysis, Intelligent OCR.
Мало рутины, много рессерча и нестандартных задач. Скучно точно не будет.
Доступен remote, поэтому идеальный кандидат может быть с любой точки Украины.
Платим 1000$ за рекомендацию NLP Engineer!
К нам в Metinvest Digital R&D очень нужен NLP Engineer. Ищем уровня Middle/Senior.
Задачи такие, как, conversational solutions, text parsing, mood analysis, Intelligent OCR.
Мало рутины, много рессерча и нестандартных задач. Скучно точно не будет.
Доступен remote, поэтому идеальный кандидат может быть с любой точки Украины.
AC
Почему именно Украины?
DD
Почему я ощущаю дежавю?