关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro1846人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

智能化升级 新款卡罗拉锐放限时售9.68万起

网易汽车 浏览 2750

偶像的力量!锡安:普尔最爱艾弗森 他的突破有AI的影子

仰卧撑FTUer 浏览 3120

马年壁纸送上,祝大家新年快乐,马上发财!

黎贝卡的异想世界 浏览 1491

eSIM来了,但还在来的路上

北京商报 浏览 3113

许家印侄子许火健豪宅被法拍,起拍价4400万元,配有5个洗手间

红星资本局 浏览 2052

马斯克承认其他车企不想获得特斯拉FSD授权:他们简直疯了

IT之家 浏览 2712

月之暗面创始人杨植麟:中国技术不仅要好用还要参与制定规则

IT之家 浏览 2161

泽连斯基:乌美就领土问题讨论6.5小时

每日经济新闻 浏览 2596

“五菱宏光家族焕新:燃油、增程、纯电三动力,5.48 万元起

IT之家 浏览 2872

陈妍希这婚,离晚了

她刊 浏览 2367

开工首日,雷军给员工发红包(多图)

三言科技 浏览 1491

杭州男子花1600万元买别墅 拒缴7万元水费被物业停水

1818黄金眼 浏览 9121

人民日报:警惕日本战略走向的危险转向

人民网-人民日报 浏览 43813

特尔:定位球让英超观赏性变差了,看着很无聊

懂球帝 浏览 1161

揭秘广州男篮打NBA季前赛:获马刺快船森林狼邀请 还能赚出场费

醉卧浮生 浏览 3298

看来看去这些才是适合普通人的穿搭!不花哨、不繁琐,提气质

静儿时尚达人 浏览 1154

俄无人机救下一名正遭乌军性侵女子 顾不上提裤子拔腿就逃

大象新闻 浏览 3153

特朗普称已考虑接替穆杰塔巴的人选 外交部表态

潇湘晨报 浏览 31809

铜价历史新高推动“复合集流体”量产提速,易开盖龙头“英联股份”能否成为跨界黑马?

时代周报 浏览 2437

光伏巨头通威、隆基预亏近百亿,行业深度调整未见拐点

华尔街见闻官方 浏览 2045

凯尔特人120-112力克太阳,布朗41+7+6,塔图姆21+7,布克40分

懂球帝 浏览 1057
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1