Анонсы исследований и продуктов на AI Native Conf

На конференции AI Native Conf компания Together представила несколько значительных нововведений, включая FlashAttention-4, API для обучения с подкреплением, ThunderAgent и ATLAS-2. AI Native Cloud — это не просто маркетинговый термин, а полноценное облако, созданное для AI-ориентированных пользователей. Команда исследователей и инженеров, стоящая за такими достижениями, как FlashAttention и ThunderKittens, управляет производственными системами, на которые полагаются клиенты, такие как Cursor и Decagon. Это близость к производству позволяет быстро внедрять новые технологии в практику, что приносит немедленную пользу клиентам.

На первом AI Native Conf были анонсированы семь новых исследований и продуктов в трех областях: ядра, обучение с подкреплением и оптимизация алгоритмической инференции. Каждое из этих нововведений представляет собой значительный шаг вперед в нашей цепочке от исследований к производству.

FlashAttention-4, являющийся движком внимания для многих крупных языковых моделей, демонстрирует впечатляющую производительность, обеспечивая скорость работы в 2.7 раза выше, чем Triton, и в 1.3 раза выше, чем cuDNN 9.13. Это особенно полезно для задач, требующих длительного контекста, таких как понимание видео и масштабирование вычислений во время тестирования.

Другим важным достижением является Together Megakernel, который обеспечил значительное улучшение производительности для одного из ведущих компаний, работающих с голосовыми агентами. Оптимизация позволила снизить время отклика до 77 мс, что в 3.6 раз быстрее, чем на предыдущей конфигурации.

Также была представлена система together.compile, автоматизирующая процесс оптимизации ядер, что значительно упрощает работу с моделями. Применение этой технологии позволило ускорить генерацию видео на 25%.

API для обучения с подкреплением от Together предлагает полный стек для обучения, позволяя командам контролировать процесс и оптимизировать его. Это особенно важно, так как более 70% времени в обучении с подкреплением уходит на выполнение действий, и здесь исследования Together могут стать решающим фактором.

Наконец, ThunderAgent решает проблемы, возникающие при работе с агентными рабочими процессами, обеспечивая более эффективное управление ресурсами и оптимизацию загрузки.