NNTile
Фреймворк для обучения нейросетей
Фреймворк NNTile предназначен для обучения больших нейросетей. Он основан на задачно-ориентированной модели параллельного программирования, в которой вычисления динамично распределяются по всему доступному аппаратному оборудованию, а данные передаются асинхронно.
Фреймворк поддерживает модели типа DeepReLU, MLP Mixer и GPT. По заявлениям разработчиков, NNTile позволяет на одном и том же оборудовании (для экспериментов использовался сервер с восемью графическими процессорами NVIDIA A100) обучать модели размером до 50 млрд параметров, в четыре раза большие, чем это возможно с использованием фреймворка PyTorch.
Фреймворк был представлен исследователями из Института AIRI и «Сколтеха» в январе 2024 года. Доступен как открытое ПО.
