关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1844人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

视频:解放军远程火力实弹射击全部命中

央视新闻客户端 浏览 1579

A股特高压拉升!AI算力引爆电力刚需,巨头订单排至2027年

览富财经网 浏览 1917

辛纳重返世界第一无悬念?网友点出阿利西姆难阻意大利人夺冠原因

网球之家 浏览 2934

环球:中国实施稀土出口管制 美方没必要过度反应

环球网资讯 浏览 6682

马克龙:有必要将伊朗停火协议扩展到黎巴嫩

上观新闻 浏览 372

长征十二号甲火箭首飞入轨,一级未能成功回收

上观新闻 浏览 2301

年龄差19岁,这对姐弟恋又给内娱上了一课!

伊周潮流 浏览 2492

中加领导人时隔8年首次会晤 外交部回应

外交部网站 浏览 8589

搭上芯片“黑马”新凯来的光伏龙头,高管集体减持,股价大跌超7%

红星资本局 浏览 3160

三代蔚来ES8最让车主感到遗憾的事情,就是砍掉老款的75kwh电池包

大志聊车 浏览 1943

喜马拉雅烟花秀引争议 新华社、人民日报接连发声

21世纪经济报道 浏览 20790

百万粉丝博主“稚晖君”在账号发介绍公司机器人视频,引发监管问询!公司紧急回应

红星资本局 浏览 2062

一加Ace 6T宣布12月3日发布!全球首发第五代骁龙8、超8000mAh大电池

快科技 浏览 2653

离开央视为钱四处奔波的李思思,已然风光不再

TVB的四小花 浏览 1830

外国女教师性侵16岁男学生数月上百次 详情炸裂

胡侃社会百态 浏览 38581

美国微软公司:10月14日起Windows 10将“停服”

财闻 浏览 3139

香港大学AI程序员超越人类:一键将科学论文变成完整代码库

科技行者 浏览 2120

64岁关之琳现身南京眼镜店,与老板娘喝下午茶

涵豆说娱 浏览 3311

以色列:随时重返战场

极目新闻 浏览 369

曾遭遇心脏骤停,洛克耶跟随老东家布里斯托尔流浪者训练

懂球帝 浏览 3040

今年第三次!53万的理想MEGA烧了,奶爸:不敢想象

说财猫 浏览 3041
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1