Ну вот да, проблемы я знаю) Интересно какие гпу в итоге решают

это в реализации https://github.com/nshepperd/gpt-2 и их клонов

потом нашел реализацию где получилось разбросать на несколько гпу

для сверх большой модели похоже нужно брать другую реализацию или у меньшать батч

я полгода назад делал, уже позабывал

TPU показывал себя плохо, хуже GPU точно

Интересно

По результатам или по времени?

по времени. для результатов какая разница где числа складываются?

хоть CPU - разницы нет

там обучение просто днями идет, посему это важно

+не было вариантов найти в аренду гпу с больше 16 гб РАМ

я перешел на другой репозиторий, где была паралелизация, удалось запустить 1.5B модель

С этим проблема да, надеюсь 3090 улучшит ситуацию

и обучение больших моделей, занятие мягко говоря не дешевое

а вы не читали анализы того, что у гпт всё-таки плоховатая сцепка с реальностью?

ну так факты фактами, а куски фраз вполне могут ловиться

Это понятно, я же говорю о том, чтобы обучить ее так, чтобы она не стремилась добавить фактов от себя. Ну утверждаю, что это рабочий вариант, чисто гипотетически

но это же... невозможно по определению. она работает с цепочками символов, с формой. факт — это не просто семантическая категория, это даже ещё веселее (потому что про внеязыковую реальность). это похоже на нейросетевой машпер, в котором всё равно по-хорошему нужны костыли для постобработки, т.к. гарантировать, что он _не нагенерит_ хотя бы капельки странного, практически невозможно. только тут ещё и в фактчекинге загвоздка без привязки к оригиналу (т.е. свободы больше)

ну и вообще всем читать https://www.aclweb.org/anthology/2020.acl-main.463/