关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro5596人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

阅读全文
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

登贝莱:踢什么位置教练说了算,我很喜欢中锋位置

懂球帝 浏览 8974

斯卡洛尼:如果处理得更好比赛早结束了;我想尝试532阵型

懂球帝 浏览 8477

从全球榜单看中国创新

海外网 浏览 7362

多位老人痴迷买保健品:有人甚至吞安眠药逼女儿妥协

新京报 浏览 11172

年销280万辆,出口134万辆后,奇瑞的下一站在哪

智电汽车. 浏览 7415

巴黎人报:出于保险,恩里克半场就换下了努诺-门德斯

懂球帝 浏览 7902

入秋第一件打底衫!你买这3件,太好看了!

Yuki女人故事 浏览 8489

记者:NBA正考虑取消伦纳德与快船的合同使其成为自由球员

懂球帝 浏览 6711

53岁蔡少芬累到虚脱 15岁就开始为母还债 好辛苦

疯说时尚 浏览 7823

新势力做了这么久豪车 为什么只有尊界卖爆了?

差评XPIN 浏览 7550

美联储,重磅来袭!降息传出大消息

券商中国 浏览 8862

任泽平认为全球正在去美元化,黄金白银将成为终极货币,真的吗?

火星宏观 浏览 7160

周润发爆猛料:梁家辉以前是我“小弟”

今古深日报 浏览 5327

2026巴黎高定时装周|全世界最美的衣服都在这了

LinkFashion 浏览 7347

丰田全新跨界轿跑亮相!新增激光雷达,轴距近2米9,续航超600Km

小史谈车 浏览 7755

湖人123-120险胜猛龙,八村垒三分绝杀,詹姆斯17中4仅8分

懂球帝 浏览 7684

柬泰本轮冲突烈度远超以往 中国特使穿梭调停

环球网资讯 浏览 7737

懂王已疯,美国已乱,北约已散

识局 浏览 7471

俄大使披露:美军控制马杜罗时 没打算让任何人活下来

扬子晚报 浏览 11807

特朗普亚洲行美方称中美领导人将会面 中方尚未官宣

上观新闻 浏览 12666

美被指拒绝以色列看美伊谅解备忘录

CCTV国际时讯 浏览 4367
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1