Может просто попробовать классический путь через эмбединги: мужчина-повар,женщина-"?"
А потом из полученной выборки выбрать однокоренное слово?

Спасибо за вариант! Попробую.

Ребята, привет!
Где можно подсмотреть хороший пример как писать апишку под BERT на Flask?
Мне для задачи перефразирования, но подойдет в принципе любой пример :)

А можно полюбопытствовать, как вы BERT для перефразирования используете?
Я тут просто коллекционирую русские парафразеры, и про бертовый не слышал🙃

Можно воспользоваться тезаурусом типа ruwordnet. Для него есть питоновская обёртка, правда, в ней не самые актуальные данные.
Алгоритм такой: ищешь слово, проверяешь, есть ли слово, однокоренное к нему, синонимичное к нему, и при этом другого рода. "повариху" так для "повара" найти можно.  
https://www.ruwordnet.ru/ru/sense/ПОВАР+1
У такого алгоритма будет не очень высокая полнота (ограниченная полнотой словаря), зато идеальная точность.

я использую BART и Pegasus; проект на английском.
но если есть предложения по тому, какой из трансформеров лучше использовать для этой задачи, с радостью выслушаю

Нет, эти два кажутся идеально подходящими (хотя я сам использую T5).
Стало просто интересно, как для перефразирования подкрутили BERT, в котором нет полноценного декодера.

он в проекте выполняет роль "пересказывателя" нескольких объединенных перефразированных текстов

Спасибо большое! Очень хороший вариант!

Привет! Мне поставили задачу сделать обучающий проект для студентов по трансформерам. Теорию я понимаю, но практического опыта маловато.
В связи с этим вопрос: чтобы работать с трансформерами на практике, нужно ли детально понимать как они устроены? Или можно использовать и файн-тюнить модели "из коробки", а разбираться во внутреннем устройстве обычно не нужно?
Просто не хочу научить "лишнему", отнять время студентов, заставить собирать трансформер с нуля, а окажется что на практике копаться внутри трансформера обычно не нужно.

Хорошо бы помнить как устроены))

Лишним понимание концептуально что внутри не будет

Теоретический модуль по трансформерам они прошли, так что в основном понимают, а я делаю лишь практический проект

Ну над протянуть немного ниточку

Что можно вот тюнить к блоков, можно фризить веса

И тп

Есть cls, mean pool

Ну в общем практику подкрепить теорией для повторения имхо, но эт ток совет)

Друзья, мы начали делать небольшие видео интервью с интересными людьми из сообщества ИИ!

Эти интервью не столько про технологии или бизнес (хотя мы конечно говорим и про них), но скорее про людей, которые занимаются ИИ. В чем их интересы, что ими движет, как они видят соприкосновение технологий и бизнеса, как ИИ влияет на общество в целом и их жизнь в частности.

Мы разговариваем именно с людьми, проявляя их личные позиции, а не с компаниями, поэтому в этих диалогах нет никакой рекламы и пиара)) надеемся именно это вам понравится!)

Интервью будут разными - с учеными про научные аспекты ИИ, с разработчиками про технологии, с людьми из бизнеса - про ИИ в бизнесе.

Сегодня мы публикуем первое видео - с Татьяной Ландо из Google. Поговорим про языковые модели типа GPT-3 или LaMDA, что они могут и чего не могут)

https://www.youtube.com/watch?v=JH9cDtK3bMk

Пишите в комментариях, с кем бы вам было интересно посмотреть одно из следующих интервью!)

#видео #диалоги

Ну и Шмидхубер в центре, просто отлично💪