Выложенный в общий доступ фреймворк NNTile предназначен для обучения больших нейросетей. Он основан на задачно-ориентированной модели параллельного программирования, в которой вычисления динамично распределяются по всему доступному аппаратному оборудованию, а данные передаются асинхронно.

Фреймворк поддерживает модели типа DeepReLU, MLP Mixer и GPT. По заявлениям разработчиков, NNTile позволяет на одном и том же оборудовании (для экспериментов использовался сервер с восемью графическими процессорами NVIDIA A100) обучать модели размером до 50 млрд параметров, в четыре раза большие, чем это возможно с использованием фреймворка PyTorch.

Фреймворк был представлен исследователями из Института AIRI и «Сколтеха» в январе 2024 года.

👤 Алексей Михалев