关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro779人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

卢浮宫一件被盗文物被发现已损毁 疑为欧仁妮皇后皇冠

极目新闻 浏览 6548

美媒:美正向中东增派包括航母在内的兵力

界面新闻 浏览 1003

加码中国“确定性”

国际金融报 浏览 2245

国防部长董军出席第十二届北京香山论坛并作主旨发言

政知新媒体 浏览 2922

网红拍不雅视频发家族群 还在西湖边拦阻路人给其观看

都市快报橙柿互动 浏览 2173

剧组撞死猫风波持续发酵

小撇说事 浏览 1709

王传君拿下东京电影节影帝!撕奖过程太精彩,连坑两位中国女星

萌神木木 浏览 1949

海昌智能IPO:“母子”共同“闯关”,重大关联交易或成拦路虎

览富财经网 浏览 961

美国微软公司:10月14日起Windows 10将“停服”

财闻 浏览 2169

一场意外的形象崩塌却让他更红了!

伊周潮流 浏览 2016

官方:因看台有医疗紧急情况,富勒姆vs利物浦推迟15分钟开球

懂球帝 浏览 1175

一家6口迪拜旅游被滞留 3个老人患病降压药得掰一半吃

大象新闻 浏览 18003

三战全胜,巴列卡诺主帅伊尼戈-佩雷斯当选西甲10月最佳教练

懂球帝 浏览 1965

AI泡沫争议再起!多位顶尖大咖PK,这次有何不同?

21世纪经济报道 浏览 1824

业内曝娜扎被抢休息室,刘亦菲聊天被保镖监听,好精彩的后台大瓜

萌神木木 浏览 1969

印度空难唯一幸存者饱受PTSD折磨 至今无法与妻儿说话

扬子晚报 浏览 7472

何超莲窦骁合体撒糖,赴澳洲旅游被偶遇,有说有笑力破婚变传闻

扒虾侃娱 浏览 1837

许利民:曾凡博确实非常优秀,祝贺他回归首秀奉献如此精彩表现

懂球帝 浏览 1197

寻找隐形冠军|意想不到的它

海外网 浏览 1040

周定洋社媒庆祝绝平申花:让我们继续拼、继续冲,一场一场来!

直播吧 浏览 2951

中方提醒中国游客避免前往日本 日媒:或造成重大影响

环球网资讯 浏览 41495
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1