关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro95人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

星光730灵犀动力获中汽中心高品质混动认证等奖项

网易汽车 浏览 1399

恩智浦全新S32N7处理器释放软件定义汽车(SDV)的全部潜力

HiEV 浏览 571

媒体:特朗普一口气狂退66个群 还有更多在"排队"审查

上观新闻 浏览 11457

电池技术取得重要突破,新能源车续航里程有望翻倍

环球网资讯 浏览 1698

马斯克称新款特斯拉Roadster是“超越汽车范畴的特殊产品”

IT之家 浏览 2425

尼帕病毒疫情扰动全球神经,A股病毒防治板块逆势拉升

览富财经网 浏览 240

费迪南德:梅努抗压能力极强;卡里克的工作重点应是保持势头

懂球帝 浏览 42

拿到标准合同,Shams:乔丹-古德温成为太阳队第14位正式名单球员

懂球帝 浏览 1612

三星One UI 8.5前瞻:基于安卓16,引入情景感知AI

IT之家 浏览 1085

迪亚曼蒂:在广州有卖鳄鱼肉和鳄鱼皮的,简直不可思议

懂球帝 浏览 2188

创维抄袭格力,为何低级得如此赤裸裸?

正经社 浏览 447

俄称对乌实施大规模打击

极目新闻 浏览 701

1万亿订单再加3500-5000亿美元!OpenAI“停不下来”,“当你欠每家数千亿美元,钱的问题自己会解决”?

华尔街见闻官方 浏览 1745

贵州茅台多款产品出厂价降价,最高下调1990元,销售端也有降价

红星资本局 浏览 454

62岁农村大爷打赏女主播50万 全家人一查账单直接傻眼

极目新闻 浏览 23682

北京“远航天梦”航天科技体验中心项目正式落成

环球网资讯 浏览 422

吉林延边州珲春市发生5.5级地震 震源深度560千米

界面新闻 浏览 6930

以军频繁袭击 加沙"黄线"附近居民被迫再度离开家园

海外网 浏览 1482

萧敬腾在岳父追思会上拥抱妻子,含泪致辞

素素娱乐 浏览 429

200多斤小伙落水漂浮7小时 钱塘江大潮来临之际获救

新民晚报 浏览 1781

"2500吨粮食没法及时运出去" 一根限高杆卡住四个村

重案组37号 浏览 11034
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1