关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro5290人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

阅读全文
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

尼昂:外界没帮莱奥,他需要帮助

懂球帝 浏览 4305

传祺向往M8宗师上市 补贴价24.99万元起

网易汽车 浏览 8098

政府关门三周美公务员排长队领救济 很多人不想"露脸"

每日经济新闻 浏览 16976

海南华铁“失算”疑云:36.9亿元“三无”合约终止,阿里云前高管参与,“牛散”结伴进退

证券时报e公司 浏览 8126

前三季度海洋生产总值7.9万亿元 同比增长5.6%

央视财经 浏览 7888

半场-马竞0-0马洛卡 汉茨科造点阿尔瓦雷斯失点

直播吧 浏览 7209

美国将打造全球首座可移动核反应堆工厂,落户“曼哈顿计划”旧址

IT之家 浏览 8158

保时捷的新战场,不止卖车

网易汽车 浏览 2836

张嘉译西安别墅庆生,染完头发直接年轻10岁

柒佰娱 浏览 5511

李湘减肥成功,和女儿王诗龄一起回小区被偶遇,目测瘦了50斤!

娱乐团长 浏览 5264

黎以停火协议生效一年 以军称打死370余名武装人员

国际在线 浏览 7544

雷军回应YU7首拆:欢迎同行和专家指点

盖世汽车 浏览 7827

今年春天的裙子,裙摆越大越好看!

LinkFashion 浏览 6559

青睐硬科技!真金白银流入中国股市!全球市场重新定义中国资产

证券时报 浏览 4277

哈马斯高级领导人:准备撤出“黄线”以内武装人员

财联社 浏览 7537

辛芷蕾飞升独一档,85花格局变了!

Yuki女人故事 浏览 8354

宇树科技IPO过会 或成万亿赛道估值标杆

证券时报 浏览 4237

ESPN:若卡塞米罗接受大幅降薪,曼联不排除留下他

懂球帝 浏览 7910

立威第一枪?巴拿马拿中资港口开刀,李嘉诚228亿落空?

数字财经智库 浏览 6947

从 “扛周期” 到 “稳经营”:生猪期货如何破解产业困局

澎湃新闻 浏览 7054

夸克AI眼镜开售,88VIP叠加9折消费券,最低3329元

海外网 浏览 8185
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1