关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3422人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

吉比特狂赚5.69亿!创始人卢竑岩分红独揽1.28亿!

包不同 浏览 3696

小米SU7凌晨突发撞击事故 车辆爆燃施救人员未打开车门

网易汽车 浏览 4735

承德露露,温水煮青蛙

斑马消费 浏览 4486

美国国务院要求美国公民立即离开伊朗

新华社 浏览 3232

带病出战,李昊发着烧踢满了U23国足与泰国U23的比赛

懂球帝 浏览 3611

海博思创400多亿市值背后,留美博士张剑辉的逆袭之路

尺度商业 浏览 3783

直接吹爆!年度最敢拍的禁片级港片出现了!

独立鱼 浏览 2590

明年一季度利率上限降至20% 消费金融迎来“阵痛期”

21世纪经济报道 浏览 4314

这场金融盛会万众瞩目

国际金融报 浏览 166

柬埔寨提高获取公民身份投资门槛:至少需100万美元

红星新闻 浏览 21002

2胜5平,输给曼城后利兹联已连续7轮英超保持不败

懂球帝 浏览 3654

IU李钟硕新年撒糖,两人穿情侣装低调秀恩爱

阿雹娱乐 浏览 3411

超千万元罚单屡见不鲜!第三方支付机构这些“坑”别再踩了

国际金融报 浏览 3622

“芭蕾运动鞋”越来越流行,全世界的时髦女人都在穿

LinkFashion 浏览 1773

最高续航430km 五菱缤果S置换补贴价6.38万起

网易汽车 浏览 5123

KAIST AI揭秘:让AI视频生成真正理解"谁对谁做了什么"的关键技术

科技行者 浏览 4455

央视点名!这5位艺人现原形?

君笙的拂兮 浏览 4543

果然,51岁钟汉良还是赢了

温柔娱公子 浏览 3168

来了!小鹏P7+增程版申报图现身

Nice好车 浏览 4716

张馨予华丽回归ELLE盛典,25斤重礼服惊艳全场

洲洲影视娱评 浏览 4370

哈马斯证实达成加沙停火协议

CCTV国际时讯 浏览 3957
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1