关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3398人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

联大反击或剥夺美国重要资格 美恐难再与中同台论道

策略述 浏览 8870

26小伙辞职照顾瘫痪母亲3年 家中3个姐姐均已嫁人

封面新闻 浏览 10173

同样是星二代,为什么她路人缘那么好?

伊周潮流 浏览 4407

老兵们打赢了第一仗,但真正的战争是整个赛季

体坛周报 浏览 4444

现在穿v领毛衣,刚好

Yuki女人故事 浏览 3698

面对全新应用场景还有推理能力 英伟达发布全新物理AI模型

网易汽车 浏览 3556

迪丽热巴“扛剧女王”人设崩塌?

孟一宜 浏览 4151

演绎日式豪华MPV 全新日产Elgrand新车图解

车质网 浏览 3989

小米汽车又一重要专利公布!

电动知家 浏览 4162

佘诗曼《新闻女王2》首波口碑出炉了!现场观众的评价一针见血

娱乐圈笔娱君 浏览 4338

S家洗白失败!韩国综艺锤了小S忽视姐姐病情,推卸责任甩锅给大S

萌神木木 浏览 3415

今日热点:李庚希空降粉丝群抵制代拍;荷兰弟复工拍摄《蜘蛛侠4》……

伊周潮流 浏览 3931

反转!曝何超莲婚礼是亲妈出钱,窦骁不愿签婚前协议,所以没领证

萌神木木 浏览 4464

香港政务司司长:涉案人员处心积虑犯罪 害死这么多人

南方都市报 浏览 19288

德约六王赛退赛向观众道歉遭网友怒喷来捞钱,球迷用成绩狠狠打脸

网球之家 浏览 4598

内存条现货价格“跳水”三成,手机厂商却在涨价,存储市场为何两极分化?

红星资本局 浏览 1952

43岁张杰退出投票,粉丝和路人都点赞

眼界看视野 浏览 3422

全尺寸货运版eVTOL样机已总装下线,「蓝霄航空」完成新一轮数千万元融资,年内累计融资近亿元|36氪首发

36氪 浏览 4658

ESPN:17岁巴西小将德尔被称为新哈兰德,米兰、曼城对他有意

懂球帝 浏览 4711

比亚迪固态电池要来!有望明年试生产

优视汽车 浏览 2990

绝色美人赛道,太适合何晴了!

温柔娱公子 浏览 3131
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1