关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2991人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

美ICE当街打死一人 施救医生:特工忙着数他身上的弹孔

红星新闻 浏览 7514

西媒:迈阿密国际有意洛塞尔索,已向其表达强烈兴趣

懂球帝 浏览 3557

何小鹏邀罗永浩体验 VLA:好产品不怕检验 罗永浩回应笑翻网友

快科技 浏览 2195

新东方员工发文吐槽「加班成奴」,账号被秒封!公司回应;负债238亿拟花1.8亿炒股?乐视网:被误读;美光停止向消费者销售存储产品

雷峰网 浏览 3612

黄仁勋放大招,全栈 AI 加持的NVIDIA 要承包智驾未来?

汽车观察AUTO 浏览 3145

方盒子"大床房" 福特智趣烈马售22.98万起

网易汽车 浏览 3691

1.78万亿宁德时代牵手“张雪”,造出电摩给谁骑?

野马财经 浏览 1666

邮报:法布雷加斯和特里不在切尔西新帅候选名单上

懂球帝 浏览 3337

她用整整十二年,打捞出鲜活的大师影迹

幕味儿 浏览 3556

朱元璋变脸 研究学者:"鞋拔子脸"异像并非其真实面容

环球网资讯 浏览 20875

罗斯柴尔德家族现遗产之争:93岁婆婆与60岁儿媳打官司

红星新闻 浏览 20301

速览!假期这些大事影响节后市场

Wind万得 浏览 2625

郭晶晶就个人发展问题最新发声

新民周刊 浏览 4196

"最快女护士"辞职后首战重马获国内第四 本人回应

封面新闻 浏览 7221

让城市有“面子”更有“里子” 建设韧性城市行动方案发布

央视财经 浏览 4263

以军已停止在加沙地带军事行动

财联社 浏览 3925

U17世界杯吉祥物灵感来自前国足主帅米卢,米卢:感谢这个创意

懂球帝 浏览 4124

死磕影像十一年:vivo探索另一种可能

远川研究所 浏览 4221

父子在悉尼海滩枪击致16死 中国学生亲历:很怕打中我

上观新闻 浏览 9341

诺和诺德董事长携6名董事集体辞职,董事会“大换血”,年薪5000万CEO此前离任

红星资本局 浏览 4212

张继科与女友张蕊被拍 被传隐婚生子?

达达哥 浏览 3676
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1