Создайте визуализации музыки с помощью ИИ от MIT

Мариано Сальседо, студент магистратуры в новой программе «Музыкальные технологии и вычисления» в MIT, разрабатывает ИИ для визуализации и выражения музыки и других звуков. Его исследование сосредоточено на нейронных клеточных автоматах (NCA), которые объединяют классические клеточные автоматы с методами машинного обучения для создания изображений, способных к регенерации. При взаимодействии с музыкальным стимулом эти изображения могут «показывать» звуки в действии.

Сальседо разработал веб-интерфейс, который позволяет пользователям настраивать взаимосвязь между энергией музыки и системой NCA, создавая уникальные визуальные представления с использованием любого аудиопотока. Он стремится, чтобы визуализации дополняли и обогащали опыт прослушивания.

В прошлом году Сальседо, стипендиат Алекса Ригопулоса в области музыкальных технологий и вычислений, получил степень бакалавра в области искусственного интеллекта и принятия решений в MIT, где исследовал обработку сигналов в машинном обучении. Теперь он один из пяти студентов магистратуры в первой группе программы.

Программа, возглавляемая профессором Эраном Эгози, является сотрудничеством между MIT Music and Theater Arts и Школой инженерии. Она приглашает практиков изучать и развивать новые вычислительные подходы к музыке и включает в себя серию выступлений, которые знакомят студентов с профессионалами музыкальной индустрии и исследователями.

Сальседо был выбран для выступления на церемонии вручения дипломов в 2026 году, что является большой честью и ответственностью для него. Он также надеется, что его работа поможет изменить ситуацию в области ИИ, способствуя более разнообразному и инклюзивному подходу к разработке технологий. Его увлечение музыкой возродилось во время учебы в MIT, где он начал DJ-ить и создавать звуковые ландшафты с помощью технологий.