ИИ научился восстанавливать песню по музыкальному видео

Ученые из MIT представили систему искусственного интеллекта (ИИ) Foley Music, которая генерирует музыку на основе видео без звука, где музыканты играют на инструментах. Они говорят, что модель работает с разными музыкальными инструментами и превосходит несколько существующих систем по скорости и качеству работы.

Исследователи считают, что модель ИИ, которая создает музыку на основе движений человека, может стать основой для нескольких приложений — от автоматического добавления звуковых эффектов в видео до создания иммерсивных впечатлений в виртуальной реальности. Исследователи отмечают, что таким навыком обладают и люди — например, когда понимают речь человека по губам.

Foley Music обращает внимание на ключевые точки тела (25 точек) и пальцы (20 точек) как промежуточные визуальные опорные точки, которые она использует для моделирования движений тела и рук. После этого система переводит эти движения в музыкальные ноты, учитывая громкость. Так она может воспроизвести аккордеон, бас-гитару, фагот, виолончель, гитару, фортепиано, укулелеле и другие инструменты.

Comments

Be the first to add a comment