∫
Я эту же модель в юпитере запускаю и она на СПУ считается как раз за 10 сек
Size: a a a
2021 June 08
FF
Фреймворк для бота асинхронный?
FF
Без кода наугад сложно понять
∫
aiogram, да
∫
Могу скинуть в личку, там код бота строк 20
FF
AZ
Всем привет! Перелопатила кучу всего, но так и не могу понять, имеет ли смысл делать следующее: есть желание обучить классификатор на базе ruGPT3, который бы учитывал контекст. Скажите, пожалуйста, кто-нибудь сталкивался с подобным, получая хотя бы удовлетворительные результаты?
Спасибо заранее!
Спасибо заранее!
D
а вам точно для классификации gpt-3 нужен ?
D
BERT кажется подойдет много лучше
AZ
Ну, хотелось бы контекст учитывать. Вот у OpenAI прекрасно все получается, хотела любопытства ради проверить, как будет подобное работать у аналога
AZ
С ним пробовала, там вопросов нет вообще, но снова-таки — хотелось бы еще попробовать prompt engineering в задачах классификации и посмотреть, насколько ругпт3 способна это делать)
AP
Год назад развлекался с похожим, база была GPT-2 но я надеюсь вы понимаете, что это тоже самое что GPT-3, правда язык был немецкий. Получилось побить немного BERT правда просто слоя классификации недостаточно, я экспериментировал с капсульными слоями.
https://github.com/DrFirestream/NLP
Здесь отчет есть и код с BERT/GPT-2
https://github.com/DrFirestream/NLP
Здесь отчет есть и код с BERT/GPT-2
AZ
Да, понимаю, конечно, больше параметров только, ну и еще есть особенности 🙂 Но в целом — архитектуры там практически идентичны, это правда.
Посмотрю сейчас репозиторий, спасибо, что поделились!
Посмотрю сейчас репозиторий, спасибо, что поделились!
AP
именно в ruGPT-3 и параметров примерно столько же )
AZ
А, да? Там же, вроде как, анонсировались апдейты)
AP
справедливости ради, это сейчас самая крупная русскоязычная GPT модель, но до OpenAI (и китайцев с корейцами) как до луны. С другой стороны, нам от терабайта весов толку все равно нет, на доступных ресурсах ничего подобного не уместить )
AZ
Соглашусь.
Но также есть серверлесс и апи, так что тут уже можно развлекаться)
Читаю сейчас описание проекта в репо, хочу сразу задать вопрос — сколько времени у вас занял проект?
Но также есть серверлесс и апи, так что тут уже можно развлекаться)
Читаю сейчас описание проекта в репо, хочу сразу задать вопрос — сколько времени у вас занял проект?
AZ
И я правильно понимаю, что CapsNets использовались для квантизации?
AP
Я мало кода писал для него, в основном соединял чужой, пришлось довольно много экспериментов проводить на GPU, но это не очень много времени заняло, пару недель наверное.
AZ
Ага, спасибо большое)