NVIDIA ускоряет Gemma 4 для локального агентного ИИ

Открытые модели способствуют новой волне ИИ на устройствах, расширяя инновации за пределы облака и на повседневные устройства. По мере их развития ценность этих моделей все больше зависит от доступа к локальному контексту в реальном времени, который может преобразовывать значимые инсайты в действия. Последние дополнения к семейству Gemma 4 от Google представляют собой класс небольших, быстрых и универсальных моделей, созданных для эффективного локального выполнения на широком спектре устройств.

Google и NVIDIA совместно оптимизировали Gemma 4 для графических процессоров NVIDIA, обеспечивая эффективную работу на различных системах — от развертываний в дата-центрах до ПК и рабочих станций на базе NVIDIA RTX, а также на персональном ИИ суперкомпьютере NVIDIA DGX Spark и модулях ИИ на краю NVIDIA Jetson Orin Nano. Последние дополнения к семейству Gemma 4, включая варианты E2B, E4B, 26B и 31B, предназначены для эффективного развертывания от устройств на краю до высокопроизводительных графических процессоров.

Все конфигурации были протестированы с использованием квантизации Q4_K_M. Новое поколение компактных моделей поддерживает широкий спектр задач, включая решение сложных проблем, генерацию и отладку кода, а также нативную поддержку структурированного использования инструментов. Модели E2B и E4B созданы для ультраэффективного, низколатентного вывода на краю, полностью работая в оффлайне с практически нулевой задержкой на многих устройствах, включая модули Jetson Nano.

Модели 26B и 31B предназначены для высокопроизводительного рассуждения и рабочих процессов, ориентированных на разработчиков, что делает их хорошо подходящими для агентного ИИ. Оптимизированные для обеспечения передового уровня доступного рассуждения, эти модели эффективно работают на графических процессорах NVIDIA RTX и DGX Spark, поддерживая среды разработки, помощников по кодированию и рабочие процессы, управляемые агентами.

С ростом популярности локального агентного ИИ приложения, такие как OpenClaw, позволяют создавать всегда активные ИИ-помощники на ПК с RTX, рабочих станциях и DGX Spark. Последние модели Gemma 4 совместимы с OpenClaw, что позволяет пользователям создавать способных локальных агентов, которые извлекают контекст из личных файлов, приложений и рабочих процессов для автоматизации задач.