Запускаем Aya: новый многоязычный ИИ от Cohere Labs

Aya — это глобальная инициатива открытой науки от Cohere Labs, объединяющая исследователей для продвижения многоязычного ИИ, который помогает преодолевать барьеры между людьми и культурами по всему миру. Недавно был представлен Tiny Aya, компактная модель многоязычного ИИ, работающая локально на любом устройстве. Эта модель с 3,35 миллиарда параметров поддерживает более 70 языков и предлагает специализированные варианты для различных регионов, обеспечивая высокую производительность без зависимости от облачных технологий.

Tiny Aya включает в себя несколько вариантов, оптимизированных для сбалансированной многоязычной производительности. Например, Tiny Aya Earth предназначен для языков Африки и Западной Азии, Tiny Aya Fire — для южноазиатских языков, а Tiny Aya Water — для регионов Азиатско-Тихоокеанского региона и Европы. Каждая из этих моделей создана с учетом реальных сценариев использования, что делает их особенно полезными.

Кроме того, Aya Vision представляет собой исследовательскую модель, которая продвигает многоязычный мультимодальный ИИ через инновационные методы генерации синтетических данных и объединения моделей. Она демонстрирует передовые результаты по 23 языкам, превосходя более крупные модели и эффективно решая проблемы нехватки данных и катастрофического забывания, снижая вычислительные затраты на 40% благодаря оптимизированным методам обучения.

Aya Expanse переопределяет многоязычный ИИ, овладевая 101 языком с помощью инновационного тонкого обучения и кросс-языковых методов передачи. Объединив тщательно подобранный открытый набор данных с эффективным предварительным обучением, эта модель достигает беспрецедентной производительности как для языков с высоким, так и с низким ресурсом, снижая инфраструктурные затраты на 30% и устанавливая новый стандарт для масштабируемого и инклюзивного моделирования языков.

Aya начала как крупнейшая инициатива открытой науки в области машинного обучения, объединив сообщество исследователей со всего мира для создания мощной основы для будущих инноваций. Эта начальная работа заложила основу для последующих исследовательских инициатив и разработки дополнительных моделей, расширяя границы возможностей ИИ и увеличивая объем информации, доступной для анализа.