关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro6人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

新东方员工再出新歌"骂"公司 俞敏洪曾奖励12万

界面新闻 浏览 6787

媒体:美国领衔13国要对胡塞武装动手 中国没加入

北京日报 浏览 13288

和马蓉离婚9年后,自己的一双儿女开始为他争光了

TVB的四小花 浏览 2335

任正非最新讲话:没有网络的算力是信息孤岛

澎湃新闻 浏览 959

今夏穿T恤配这3种下装 显高显瘦又洋气

八分搭配 浏览 17715

尼日利亚主帅:民主刚果在点球大战时使用巫师做法,胜之不武

懂球帝 浏览 1194

李佳琦声音商标申请被驳回是怎么回事?疑似因“god”存在不良影响

趣看热点 浏览 27025

69岁赵雅芝真实面容曝光 生图眼尾皱纹炸花显老态

盖饭娱乐官方号 浏览 19701

纯电续航提升 新款小鹏X9纯电版申报图曝光

车质网 浏览 730

一战再战、王家卫、郑智化风波、杨振宁逝世、白百何等

电影最TOP 浏览 1130

手机租赁平台"青云租"疑爆雷 女子9万上车被反套35万

封面新闻 浏览 12955

重磅!国务院机构改革方案公布 一图读懂13项重要变化

人民日报客户端 浏览 100452

Neuralink脑机接口首次植入人体,马斯克发布的临床进展意味着什么? | 焦点分析

36氪 浏览 13149

新东方没有第二个“董宇辉”

凤凰网财经plus 浏览 20076

减肥100斤、海报抄袭、牵连杨紫,贾玲《热辣滚烫》翻车了?

缘木不求娱 浏览 13197

《offer7》求职修罗场,满级人类怎么打逆风局?

仙女事件簿 浏览 2375

小区601户住户拖欠物业费 物业公司通告将"断水断电"

封面新闻 浏览 75399

“中”字头股票轮番大涨,谁在“潜伏”?

中国证券报 浏览 19525

林心如曝与霍建华婚姻裂隙:孕期独守空房

一盅情怀 浏览 1529

不建议中年男人背的3种包包,听着洋气,实际土气,廉价又寒酸

潮人志Fashion 浏览 12313

第100台设备落地!胜科纳米与赛默飞共铸二十年“双向成就”

爱集微 浏览 1425
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1