关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro4605人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

特朗普回绝伊朗新方案

界面新闻 浏览 2542

“双11”本地之战 | 紧邻美团,京东折扣超市北京首店将落地门头沟 为何大厂偏爱五环外

北京商报 浏览 5482

发布多模态交互开发套件,发力硬件抢占入口!阿里云已兵分两条路布局AI手机

时代财经 浏览 4764

ImageNet分数越高,生成反而越糊?iREPA给出解释

新智元 浏览 5004

2025生命科学大会在穗召开,发布器官医学十大进展

南方都市报 浏览 6564

让多图对话AI不再"搞混":首尔多所大学发现分隔符背后的秘密

科技行者 浏览 4429

翟欣欣获刑12年 苏享茂哥哥曾称庭审当天首次听她道歉

极目新闻 浏览 18942

最近很火的5条裤子,腿粗、腿不直女孩一定要试试!

Yuki女人故事 浏览 8550

纯度更高的致敬 尚界Z7预告图发布

网易汽车 浏览 4800

特朗普:取消与普京在布达佩斯的会面

央视新闻客户端 浏览 4706

福建舰全体官兵列阵 送上硬核祝福

央视军事 浏览 3636

媒体:一级政府拒不执行法院判决 是非常恶劣的示范

南方都市报 浏览 8372

许绍雄葬礼设公祭时段,开放公众致意,曝他去年查出肾脏有肿瘤

扒虾侃娱 浏览 5430

梅西首秀帽子戏法:世界杯16球狂创11纪录 多项历史第一

醉卧浮生 浏览 1762

她如今人见人爱,当初却是一场辛酸豪赌

Yuki女人故事 浏览 2662

针对俄白联合军演 美军福特号航母驶入挪威奥斯陆峡湾

每日经济新闻 浏览 5329

美军突袭细节披露 加拉加斯居民:大地在震动 太可怕了

齐鲁壹点 浏览 4677

限量 100 台 电动 MINI JCW 蒙特卡洛 60 周年版上市

网易汽车 浏览 5791

乌代表团赴美谈判 俄乌互相袭击

新华社 浏览 5073

媒体分析:特朗普宣称要"接管"委内瑞拉 有多大可行性

澎湃新闻 浏览 12282

打假博主被店主持30厘米长的斩骨刀追砍 后者被拘5日

潇湘晨报 浏览 8943
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1