IS
Всем привет. Пытаюсь найти готовое решение для машинного перевода украинский-русский. У кого-то есть опыт с такими штуками? Или, может, кто-то подскажет куда копать? Самостоятельно тренировать решения вроде open nmt нет возможности(
Size: a a a
2021 August 10
AN
Google Translate через Google Cloud и Translate API? У них каждый месяц вроде как есть бесплатная квота и при регистрации дают безвозмездно 300$. Качество перевода в целом очень хорошее, сравнимо с человеческим. Правда, про качество украинско-русского не знаю
N
без ресурсов сложно посоветовать
IS
Гугл умеет неплохо переводить укр-ру, но проблема в том, что для внедрения решения клиенту потом нужно будет подписываться на услуги гугл(или других компаний) и им это сейчас не особо интересно. (Поток данных сильно превосходит гугловские квоты)
IS
Спасибо! Вот как раз начал тут смотреть
N
мне кажется, они ещё выкатывали штуку для файнтьюнинга, но не могу найти пока
N
нашла, они такое сделали, но это скорее для переводчиков:
https://github.com/Helsinki-NLP/OPUS-CAT
(и я не уверена, что там можно подкачивать модели для всех языков из Опуса)
https://github.com/Helsinki-NLP/OPUS-CAT
(и я не уверена, что там можно подкачивать модели для всех языков из Опуса)
AE
Не подскажите, какую-то библиотеку или просто список стандартных сокращений русского языка типа г. -> город, мед. -> медицинский итд
AE
AS
Благодарю!
SМ
Я бы labse попробовал в первую очередь, тк он родственнен по подходу к сберт но имеет самые современные и эффективные хинты для обучения универсальности представления текстов на разных языках
SМ
Причем сберт это downstream таска
SМ
А на labse там на претрейне
AS
Спасибо!
МЕ
Привет! Когда следует обучать fasttext с нуля? В каких ситуациях имеет смысл наискать предобученный?
A
Коллеги, я правильно понимаю что query и keys это: 1. Слово и Его перевод в механизмах внимания 2. Слово и это же слово в механизмах само-внимания? А values это их мера сходства (произведение).
DD
Key - слово, query - перевод, value - некоторая информация, вытащенная из слова.
В результате применения атеншна, для каждого слова-перевода i записывается среднее значение value_j по всем исходным словам j, усреднённое с весами, зависящими от произведений query_i*key_j
В результате применения атеншна, для каждого слова-перевода i записывается среднее значение value_j по всем исходным словам j, усреднённое с весами, зависящими от произведений query_i*key_j
A
@cointegrated Спасибо!