IBM выпустила Granite 4.0 для быстрого использования моделей

IBM представила Granite 4.0, новую семью открытых малых языковых моделей, созданных для скорости и низкой стоимости. Модели Granite 4.0 используют гибридную архитектуру, которая требует меньше памяти по сравнению с традиционными моделями, что позволяет запускать их на обычных потребительских GPU вместо дорогого серверного оборудования. Эти модели хорошо подходят для обобщения документов, систем RAG и ИИ-агентов.

Модель ibm-granite/granite-4.0-h-small имеет 30 миллиардов параметров и доступна на платформе Replicate. Вы можете начать использовать модели Granite немедленно через API. Например, с помощью cURL можно выполнить POST-запрос с авторизацией, указав нужные параметры для обработки.

Модели Granite обладают высокой производительностью благодаря гибридному дизайну, который сочетает в себе линейную эффективность Mamba-2 с точностью трансформеров. Mamba-2 обрабатывает последовательности линейно, что делает его более эффективным для длинных входных данных, таких как документы с сотнями тысяч токенов. Блоки трансформеров дополняют эту архитектуру, лучше поддерживая задачи, требующие долгосрочного контекстного мышления.

Некоторые модели Granite 4.0 также используют стратегию маршрутизации MoE (микширование экспертов). Эта настройка делит модель на несколько «экспертов», что позволяет активировать только те параметры, которые необходимы для конкретного запроса. Например, Granite 4.0 Small имеет 32 миллиарда параметров, из которых только 9 миллиардов активируются для обработки запроса.

Модели Granite разработаны для реальной работы, а не только для демонстраций. Они легкие и эффективные, что делает их хорошим выбором для обобщения длинных документов, построения систем, которые извлекают ответы из больших наборов данных, и развертывания моделей на локальных устройствах или оборудовании на границе сети, где доступ к облаку ограничен.

Модели Granite являются открытыми и выпущены под лицензией Apache 2.0, что позволяет использовать их как для коммерческих, так и для некоммерческих проектов без ограничений. Вы также можете модифицировать модели по своему усмотрению и выпускать изменения на своих условиях. Это открытость делает Granite практичным выбором для компаний, которым нужны соблюдение норм, безопасность или кастомизация.

Для получения дополнительной информации можно ознакомиться с документацией IBM по развертыванию, дообучению и интеграционным паттернам. IBM также разработала интеграцию LangChain для Replicate, чтобы упростить работу с моделями Granite.