关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2847人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

坦克400预售:新增激光雷达,支持高阶辅助驾驶

IT之家 浏览 4145

“量子科技第一股”董事长离世余波调查:已排除是刑事案件

时代周报 浏览 3323

上年纪的女人穿“长裤”更气质,这么挑选和搭配,时尚感爆棚

静儿时尚达人 浏览 4003

驻韩美军一“死神”无人机失控坠海 9月才被部署在朝鲜半岛

红星新闻 浏览 3606

《日掛中天》首波真实口碑出炉!观众的打分和评价都“一针见血”

娱乐圈笔娱君 浏览 3847

二手平台现999999元出售"黄仁勋签名红包" 被商户打假

极目新闻 浏览 7243

宗馥莉第二次辞职 娃哈哈集团已经被外界视为"空壳"

中国新闻周刊 浏览 4254

今年春节档头号种子,是它

电影最TOP 浏览 2816

采用东风汽车平台 Jeep计划推出全新车型

车质网 浏览 4066

采用增程动力 极石ADAMAS将于12月17日上市

车质网 浏览 3677

巨人网络80后CEO张栋辞职 前任刘伟再掌舵

中新经纬 浏览 14935

何小鹏:中美自动驾驶同处第一梯队;好未来发布AI智能体“九章龙虾”|早资道

封面新闻 浏览 2089

厦大EMBA,四维一体、育见未来

经理人杂志 浏览 4101

舒淇哽咽表白冯德伦:谢谢你娶一个不常在家的女人

Yuki女人故事 浏览 6054

博士学历女厅官袭燕被双开:违规收受礼金、消费卡

红星新闻 浏览 8589

爱奇艺发布2026年分账内容合作新规

封面新闻 浏览 2990

机器人爆单之后

北京商报 浏览 3740

乖宝宠物三季报后股价大跌,市值一天缩水近50亿

国际金融报 浏览 4105

普京公开重要情报:全国人民都该了解

环球时报新闻 浏览 3763

欧尔班:乌克兰和欧盟认为匈牙利很碍事 企图更迭政府

文汇报 浏览 4087

国羽汤杯与印度队争小组第一:石宇奇休战,李诗沣任一单

懂球帝 浏览 1066
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1