Исследователи Meta AI и KAUST предлагают нейронные компьютеры

Исследователи из Meta AI и Королевского университета науки и технологий имени Абдаллы (KAUST) представили концепцию Нейронных Компьютеров (NC), где нейронная сеть сама выполняет функции компьютера, а не просто является его слоем. Команда представила теоретическую основу и два работающих прототипа, демонстрирующих начальные примитивы выполнения команд в интерфейсах CLI и GUI.

Нейронные Компьютеры отличаются от традиционных компьютеров, которые исполняют явные программы, и от AI-агентов, использующих существующий программный стек для выполнения задач. Нейронные Компьютеры занимают уникальную позицию, не попадая ни под одну из этих категорий. Исследователи подчеркивают отличие Нейронных Компьютеров от Нейронной Туринговой Машины и Дифференцируемых Нейронных Компьютеров, которые сосредоточены на дифференцируемой внешней памяти.

Определение Нейронного Компьютера включает функцию обновления и декодер, работающие с латентным состоянием выполнения. На каждом шаге Нейронный Компьютер обновляет состояние на основе текущего наблюдения и действий пользователя, затем выбирает следующий кадр. Это латентное состояние выполняет функции, которые обычно выполняет стек операционной системы, включая контекст выполнения и рабочую память.

Долгосрочной целью является создание Полностью Нейронного Компьютера, который будет универсальным, программируемым и способным поддерживать согласованное поведение. Для достижения этой цели необходимы четкие контракты на выполнение и обновление, чтобы обычные входные данные могли исполнять установленные возможности без скрытых изменений.

Оба прототипа — NCCLIGen и NCGUIWorld — были разработаны на базе модели Wan2.1. NCCLIGen моделирует взаимодействие с терминалом на основе текстового запроса и начального кадра, в то время как NCGUIWorld охватывает полное взаимодействие с рабочим столом. Оценка обоих прототипов проводилась в открытом режиме, используя зафиксированные действия и записи.

Обучение NCCLIGen потребовало значительных ресурсов, включая 15,000 часов на GPU, а качество реконструкции достигло впечатляющих результатов. Модель NCGUIWorld использовала 64 GPU на протяжении 15 дней, чтобы достичь необходимых показателей точности взаимодействия.