VO
подтверждение удаленной стороне что последний байт файла записан именно на блины, а не в системный кеш
Size: a a a
2021 July 13
VO
ну представь что файлы большие, их одновременно прилетает несколько. отдельные куски на диске могут быть вперемешку. запись при этом будет последовательной, потому что они так пришли. а чтение одного конкретного файла уже будет вызывать seekи, потому что между его кусками -- куски других файлов
DF
Ну берёшь гпт, десяток видях и вперёд, не?
DS
Тут дело не в видяхе
DS
А в том что оно требует ЕБИЧЕСКОЕ количество оперативки
DS
Это тот случай когда 400 гиг может оказаться мало
DS
Можно сделать грязный хак который делает ResNet
DS
Тогда у тебя не получается квадрата памяти по входу, а получается меньше
DS
Но тогда падает точность так ощутимо, процентов на 15
DS
Ты можешь учить мелкими батчами, но мелкие батчи получаются в конечном итоге хуже крупных, а крупные требуют кучи памяти. При мелких батчах сильно много шума получается в пространстве и хесианы сильно дергает, градиентный спуск начинает метаться и часто прилетает мимо глобального минимума, где-нибудь в локальный
AB
и лет 100 времени? 🙂
DF
Ну китайский зеон с 512гб ОЗУ стоит сейчас вполне подъемно для тех кому реально надо
DF
Ну что ты начинаешь? Нормально же общались :)
AB
Прости 🙂
DS
Смотри
DS
Есть такая штука Т5
DS
Это чудовище позлее чем gpt3 будет
DS
Так вот, 15000 примеров в гпт5 с батчем 128 сжирает 500 гб озу и одна эпоха получается примерно двое суток
DS
Суммарно 30 ядер ЦПУ + 512 гб озу
DF
Неплохо так