25 ноября 2024 года (вчера) официальный аккаунт Nvidia в Twitter объявил о запуске передовой генеративной аудио-модели под названием Fugatto. Эта модель может создавать различные звуки, музыку и речь на основе ввода пользователя. То, что выделяет этот инновационный инструмент, — это его способность генерировать совершенно новые звуки, плавно объединяя различные аудиоэффекты способами, которые ранее были немыслимы.
Новая эра в генерации звука: Nvidia Fugatto
Fugatto (сокращение от Foundational Generative Audio Transformer Opus 1) разработан для удовлетворения различных творческих потребностей в кино, играх и музыкальном производстве. Он позволяет пользователям вводить как текстовые, так и аудиоподсказки, генерируя всё — от джинглов до сложных звуковых пейзажей. Модель имеет 2,5 миллиарда параметров и была обучена на миллионах аудиопримеров различных жанров.
Nvidia Fugatto: уникальные возможности создания звука
Одной из ключевых особенностей Nvidia Fugatto является его способность создавать «никогда ранее не слышанные» звуки. Например, он может создать саксофон, который воет как собака, или трубу, которая мурлычет. Эта способность основана на технике, называемой ComposableART, которая позволяет модели объединять различные инструкции, изученные во время обучения. Это означает, что пользователи могут описывать сложные звуковые комбинации — например, глубокие басовые импульсы, сопровождаемые высокими щебечущими звуками — и Fugatto будет генерировать их плавно.
Nvidia Fugatto: улучшение существующего аудио
Помимо создания новых звуков, Nvidia Fugatto отлично справляется с модификацией существующих треков. Пользователи могут добавлять или удалять инструменты из песен, изолировать вокал или даже изменять эмоциональный тон и акцент голоса. Эта гибкость позволяет звуковым инженерам и музыкантам экспериментировать со своими композициями без необходимости обладать обширными навыками редактирования или ресурсами.
Nvidia Fugatto: практическое применение для творческих специалистов
Fugatto готов стать真正的游戏规则改变者，适用于各个行业：
- 音乐制作：音乐家可以快速在不同风格和编排中原型化想法。
- 电影和广告：该工具动态适应音乐的能力使其成为电影配乐或为广告创建定制音轨的理想选择。
- 游戏：游戏开发者可以使用Nvidia Fugatto生成随着游戏玩法演变的沉浸式音景。
Nvidia应用音频研究经理Rafael Valle强调了该模型的目标：“我们希望创建一个像人类一样理解和生成声音的模型。”这种类似人类的理解使得与软件的交互更加直观。
AI音频生成器的挑战和考虑
虽然Nvidia Fugatto带来了令人兴奋的机会，但它也引发了对声音设计工作未来的疑问。随着像这样的AI工具变得越来越普遍，传统的角色如拟音师可能会面临挑战。然而，Nvidia建议Fugatto可以作为助手而不是替代品，允许专业人士增强而非削弱他们的创造力。
此外，关于AI生成内容的版权问题日益引起关注。随着许多公司在训练数据集中使用受版权保护的材料而面临法律挑战，行业必须谨慎应对这些复杂性。
Nvidia Fugatto代表了AI音频生成技术的重大飞跃。通过将创意可能性与技术实力相结合，Nvidia的新工具邀请艺术家和制作人共同探索未知的听觉领域。
如需了解有关最新AI发展和类似Fugatto工具的更多信息，请访问AIPURE，获取关于人工智能创新的全面信息。
