Запускаем Gemma 4: новые возможности для локального ИИ

С запуском последних многомодальных и многоязычных моделей Gemma 4, Gemmaverse расширяется, предлагая решения для различных развертываний — от дата-центров NVIDIA Blackwell до устройств Jetson на краю сети. Эти модели отвечают растущему спросу на локальное развертывание в разработке ИИ и прототипировании, обеспечивая безопасность, экономию затрат и минимальную задержку. Новое поколение моделей улучшает как эффективность, так и точность, что делает их подходящими для широкого спектра задач.

Gemma 4 демонстрирует сильные результаты в сложных задачах решения проблем, генерации и отладки кода, а также в поддержке структурированного использования инструментов. Модели обладают возможностями работы с текстом, видео и аудио, что позволяет реализовывать богатые многомодальные взаимодействия, такие как распознавание объектов и автоматическое распознавание речи. Пользователи могут свободно комбинировать текст и изображения в одном запросе, а также работать с более чем 35 языками благодаря предварительной подготовке на более чем 140 языках.

В комплект входят четыре модели, включая первую модель MoE от Gemma, которая может работать на одном GPU NVIDIA H100. Варианты A4B и 26B обеспечивают высокую производительность и подходят как для локальных, так и для дата-центрических сред. Модели E4B и E2B — это новейшие версии, предназначенные для мобильных устройств, впервые запущенные с Gemma 3n.

С учетом того, что рабочие процессы ИИ становятся все более интегрированными в повседневные приложения, критически важно запускать эти модели за пределами традиционных дата-центров. Платформа NVIDIA, включая RTX GPU и Jetson Nano, предоставляет разработчикам гибкость в управлении затратами и задержками, поддерживая требования безопасности для высокорегулируемых отраслей, таких как здравоохранение и финансы.

Совместно с vLLM, Ollama и llama.cpp мы обеспечили лучший опыт локального развертывания для каждой модели Gemma 4. Unsloth также предоставляет поддержку с оптимизированными и квантизированными моделями для эффективного локального развертывания. Возможности локального развертывания на различных платформах NVIDIA подчеркивают основные случаи использования, ключевые возможности и рекомендуемые ресурсы для начала работы с Gemma 4.

Современные физические ИИ-агенты быстро развиваются с моделями Gemma 4, которые интегрируют аудио, многомодальное восприятие и глубокие способности рассуждения. Эти продвинутые модели позволяют роботам выходить за рамки простого выполнения задач, понимая речь, интерпретируя визуальный контекст и принимая обоснованные решения перед действием.