本文分享自华为云社区《Sora Opera：天图万境联合华为云共筑AI生成式视频音效新高度》，作者： 华为云社区精选。
在人工智能技术的飞速发展浪潮中，天图万境科技有限公司（以下简称"天图万境"）联合华为云共同推出AI创新的声音生成工具------Sora Opera。这一突破性的技术将为AI生成式视频领域带来革命性的变革，提供前所未有的高效声音解决方案。
2024年3月1日华为云计算专家委员会媒体AIGC专题研讨会上，Sora Opera 首次亮相。华为云HCDE专家、天图万境创始人图拉古导演在活动现场展示了Sora Opera 是如何为 AI 生成式视频制作音效的。
图古拉表示，用户只需要上传一段视频，并且无需任何提示词，Sara Opera就会自动的生成四个不同风格的音效视频，用户可以从中提取出一个来，又或者可以继续生成。
（Sora Opera 的操作界面）
1 华为云昇腾AI云服务加持下，Sora Opera打造AI高质量视听体验
Sora Opera的诞生，标志着在视频领域中声音合成技术迎来一个质的飞跃。这一技术的背后，华为云昇腾AI云服务提供的长稳AI算力服务发挥了至关重要的作用。
在如今大模型时代，海量算力需求日益增长，华为云昇腾AI云服务为千行百业提供了更加多元、高效且长稳的算力服务选择。在千卡训练的环境下，其长稳率高达90%，这意味着即便在长时间的训练过程中，也能保证服务的稳定性和可靠性。更值得一提的是，训练作业若发生故障，能够实现自动恢复，非自动场景下恢复时长也控制在小于30分钟，极大地提高了训练效率。
为了能够更好的提供算力支持，加速AI技术的迭代与创新速度，华为云在贵安、乌兰察布、芜湖打造了3大AI云算力中心，为企业提供澎湃昇腾AI算力。同时，华为云还构建了一个高效且稳定的大模型训练环境，并配备了一套完备的工具链。该工具链能够实现千卡训练连续30天不中断，并且任务恢复时长也控制在30分钟以内。此外，通过30多个可视化调优和部署工具，企业能够更高效地处理数据、微调模型以及Prompt工程等工作，从而将过去一个需要5个月才能完成开发的千亿参数行业模型，缩短至仅需1个月，整体开发速度提升了5倍。
Sora Opera正是借助了华为云昇腾AI云服务的强大算力，结合天图万境AI技术在视听领域的深厚积累，实现了声音合成的重大突破。它能够在短时间内生成高质量、与画面节奏完美契合的自然流畅声音，为AI视频制作带来了前所未有的便利。不仅如此，Sora Opera还能深入解读视频的内容和表达含义，根据视频内容自动调整声音的情感和节奏，使生成的视频更加生动、真实，为用户带来沉浸式的视听体验。
2 带你感受Sora Opera的7大功能
Sora Opera的推出，预计将极大地促进AI生成式视频内容的创新和发展。无论是在娱乐、教育还是广告领域，Sora Opera都将为用户提供更加丰富和多样化的声音选择，使得视频内容更加吸引人，同时也为AI技术的应用提供了更广阔的空间。
Sora Opera不仅能为AI生成的视频配音，还能为已经存在的视频进行新的声音处理，这将是视频声音制作行业的一种新的可能的新方式，为艺术家提供更多灵感。
2.1 Sora Opera支持本地导入的视频素材
Sora Opera为短视频和电影行业带来更多可能性。Sora Opera的专业版可以支持长达60分钟的完整视频配音，用户还可以将自己拍摄的素材导入到Sora Opera即可获得新的音效或者新的灵感。
2.2 Sora Opera支持经过加速后的视频素材
Sora Opera可以根据画面节奏，处理非常复杂的内容信息，比如说经过加速处理的视频内容，Sora Opera也可以精准的为其匹配音效。
2.3 Sora Opera智能分辨视频中内容可能涉及到的声像关系
Sora Opera可以精准的识别图像的节奏以及与画面之外可能存在的声像关系，比如除了摸花朵的声音之外，我们还听到了衣服摩擦的声音。
2.4 Sora Opera高度还原物理世界真实声音现象
Sara Opera可以理解真实世界的声音生产的规则，并尽可能准确的还原这些声音，例如当咖啡机开始制咖啡的时候，它会有启动声音，当咖啡机结束制作液体回吸的时候，它会有一个停止的声音，而我们仔细观察就会发现，当声音停止的时候，咖啡机的导管中刚好是咖啡倒吸的过程。
2.5 Sora Opera处理损坏的AI视频
Sora Opera甚至还可以为那些坏掉的AI视频重新配一种更加魔幻的音乐，产生有趣的效果。
2.6 Sora Opera精准处理绿幕场景下的视频素材
Sora Opera还专门针对绿幕制作的素材进行了训练，它可以根据画面的人物状态和动作以及画面中所包含的道具进行精准的的卡点配音。
Sora Opera还专门针对声音可能形成的声源和额外的可能同声源数据进行了训练，它可以理解并识别画面之外的信息，例如它可以为画面外的风机进行配音。而这一切的过程都无需输入任何提示词，用户只需要上传和下载即可。
2.7 Sora Opera支持基于纯文字生成音效
Sora Opera除了可以直接为AI视频提供稳定的画面音效之外，还可以直接通过文字生成音效，利用Sora Opera还可以为视频配乐，创造一种史诗级大片感觉。
3 多个落地项目开启Sora Opera商用之路
图拉古谈到："我们非常高兴能与华为云合作，共同推动AI技术在声音合成领域的应用。Sora Opera的推出，将为内容创作者、游戏开发者、影视制作等行业带来巨大的便利，同时也为AI技术的商业化应用开辟了新的道路。"
Sora Opera还有超感影游的专业版本，为沉浸式 AI互动影游提供专业级生产保障。目前通过Sora Opera生产的超感影游已有《命运之海》《幽灵堡垒》《太阳神诅咒》《凡尘》《主角学院》等。
（由Sora Opera 参与制作的超__感影游__项目）
随着Sora Opera的面世，天图万境和华为云将携手开启AI声音合成的新篇章，为全球用户带来更加智能、高效的声音体验。正如图古拉所谈到的，我们非常高兴能与华为云合作，共同推动AI技术在声音合成领域的应用。未来，双方还将继续深化合作，探索更多AI技术的应用场景，为人们的生活带来更多便利和惊喜。