关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro3865人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

阅读全文
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

新房装小米空调师傅打断承重梁多根钢筋 售后愿赔2万

大风新闻 浏览 23620

俞敏洪当面询问比亚迪名字由来,王传福坦言:当初没得选

青眼财经 浏览 244

"地表最难乒乓球赛"上 全运会卫冕冠军王曼昱差点输了

澎湃新闻 浏览 38277

奥斯瓦尔多:我想看到迪巴拉加盟博卡,但他不大可能去

懂球帝 浏览 6063

悦龙科技闯关北交所:研发人员大量流失,大客户秒变孙公司惹隐忧

叩叩财讯 浏览 6068

重庆:对企业面向工业领域研发垂类大模型、智能体 给予最高200万元奖励

证券时报 浏览 5391

大学教授教100个老人用大模型,让AI了解他们真正的困境

每日人物 浏览 5240

美以袭击伊朗 中东军事冲突持续升级

国际在线 浏览 4922

MINI COOPER限定版上市 限时售21.78万元起

太平洋汽车 浏览 5931

钟楚曦合影风波升级!站C位评论区沦陷,杨幂刘亦菲差点没挤进去

萌神木木 浏览 6685

特朗普施压石油巨头降低油价

国际金融报 浏览 1215

米体:普利希奇将接受医疗检查,阿莱格里和米兰对美国队不满

懂球帝 浏览 6794

日本大妈的穿搭技巧太绝了!照着学,随便穿也能显年轻10岁

静儿时尚达人 浏览 6285

业内曝窦骁遭遇豪门杀猪盘,被女方当跳板?

萌神木木 浏览 6658

全面战胜ReAct!斯坦福全新智能体推理框架,性能提升112.5%

新智元 浏览 6326

上海U20男足进全运8强,徐根宝:出线是第一位,成绩是硬道理

懂球帝 浏览 6491

52岁郭德纲也没想到 徒弟阎鹤祥给他争光了

乡野小珥 浏览 6170

尹同跃宣告奇瑞AI进入2.0时代,要快速追赶特斯拉FSD

贝壳财经 浏览 5622

国开新型政策性金融工具投放近1900亿元

央视财经 浏览 6403

致敬,齐达内送给法国10000米冠军格雷西耶一件签名皇马球衣

懂球帝 浏览 7261

新款享界S9将于11月7日正式开启预订

车质网 浏览 5414
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1