关闭广告

清华新作ControlAudio:声音何时响、说啥话?都能按剧本可控生成

机器之心Pro5820人阅读



本文第一作者是江宇轩,清华大学博士生,研究方向为生成模型、文生音频和多模态学习,指导老师为朱军教授与窦维蓓教授。

文本到音频(Text-to-Audio, TTA)生成技术近年来取得了显著进展,从早期的简单声效合成逐步发展到基于扩散模型的高保真音频生成,能够较好地还原复杂的自然语言描述,为影视配音、游戏音效及多媒体内容创作提供了重要的技术支撑。

然而,现有 TTA 技术在精细化控制方面仍面临挑战:一方面,模型难以实现对声音事件发生时间的精确控制;另一方面,生成的语音内容往往不够清晰,缺乏可理解性。

针对这一问题,清华大学研究团队提出了 ControlAudio,一种基于渐进式扩散建模的文生音频方法。该方法通过系统性的数据构建流程与渐进式建模策略,在统一框架下实现了对时间结构与语音内容的联合建模。

目前,该工作已被 ACL 2026 Main Conference 接收,并拟推荐为口头报告。

阅读全文
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

两架美军机相继在南海坠毁 中方回应

极目新闻 浏览 12924

AI里的明争暗斗:马斯克的甜言蜜语,和我们20%的胜率

一点财经 浏览 6704

TA:热刺想要加拉格尔已近三年,如今才终于签下他

懂球帝 浏览 7490

OpenMind 开源全球首个“AI 原生”机器人系统 OM1 Beta

IT之家 浏览 9309

从小鹏的“物理AI”,看中国智能化的下一步

观察者网 浏览 8056

德云社董事长王惠凌晨发文,郭汾阳长大,触景生情

动物奇奇怪怪 浏览 8546

E句话| 在西藏办烟花秀的品牌已道歉?

仙女事件簿 浏览 8277

AI周报|ChatGPT广告来了;台积电最新季度净利润创新高

第一财经资讯 浏览 7387

波罗的海三国正式退出《渥太华禁雷公约》

上观新闻 浏览 7723

拉夫罗夫联大提议:以中俄为核心在亚洲搞个安全体系

现代小青青慕慕 浏览 41397

林允儿新剧遭官媒批评!本人社媒喊话我喜欢,来中国捞金还挑衅

萌神木木 浏览 7975

2号种子险爆冷!张本智和打满5局逆转日本悍将,8强战约战勒布伦

乒谈 浏览 8432

美媒称沙特强烈游说特朗普对伊朗动手 沙特坚决否认

环球时报国际 浏览 47311

上年纪的女人穿衣别焦虑,试试这几个搭配套路,优雅还减龄

静儿时尚达人 浏览 8372

下半场7中0背锅?威少8+10+7吞三连败 美记:本有机会染指最佳PG

颜小白的篮球梦 浏览 7786

特朗普"带货"后 丰田澄清:没承诺在美投资100亿美元

环球时报国际 浏览 14834

辽宁无缘决赛采访!杨鸣回应赵继伟伤势,再谈辽粤对决展伤感话题

篮球资讯达人 浏览 8353

装修“精神角落”,就是这么上瘾

时尚COSMO 浏览 5711

狂欢置换价7.99万 第三代豪越L欢乐PLUS大7座版上市

网易汽车 浏览 4541

又出血液肿瘤新药!百济神州股价微跌,“创新药一哥”能再造爆款?

猛犸资本局 浏览 7668

曼联解雇阿莫林浪费1670万!欲卖滕哈格三旧部套现,两人却不愿走

罗米的曼联博客 浏览 4940
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1