Microsoft обновила библиотеку для оптимизации тренировки нейросетей DeepSpeed+ZeROТеперь она способна работать с 1 трлн параметров вместо 100 млрд, заявленных ранее. DeepSpeed+ZeRO совместима с PyTorch, а для её подключения достаточно лишь нескольких строк кода. Репозиторий уже доступен на GitHub:
https://github.com/microsoft/DeepSpeedЕсли вкратце, относительно высокая производительность достигается за счёт софтверной оптимизации ресурсов. Библиотека устраняет избыточность памяти путем разделения состояний модели — параметров, градиентов и состояния оптимизатора — между параллельными процессами в памяти вместо их репликации.
#нейросети