关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2214人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

媒体:中国元首时隔11年再次访韩 在韩国引发很大反响

新民周刊 浏览 14079

女子用"AI流浪汉"照片整蛊丈夫引来警察 网友表示不解

央视网 浏览 10772

朝鲜晚上举行盛大阅兵式 现场画面披露

央视新闻客户端 浏览 2716

盘点史上无冠但进年终男选手,穆塞蒂并不孤单!

网球之家 浏览 3183

万亿美元豪赌,Open AI创始人:泡沫化的故事很诱人

21世纪经济报道 浏览 3469

尹同跃宣告奇瑞AI进入2.0时代,要快速追赶特斯拉FSD

贝壳财经 浏览 2348

媒体:爱泼斯坦案2000段视频公布 震碎三观突破下限

北京日报客户端 浏览 6807

脱口秀演员王越确诊甲状腺癌 手术后晒照报平安

红星新闻 浏览 6881

球报总监:穆帅执教切尔西和皇马时不这样,带曼联之后就变了

懂球帝 浏览 2262

北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

篮球资讯达人 浏览 3279

看了《沉默的荣耀》就明白:于和伟的班,娱乐圈没有人接得了

娱乐圈笔娱君 浏览 3505

银行长期限存款“退场”背后

北京商报 浏览 3266

曼城虐菜之战:18场18胜!哈兰德再冲英超100球 首发曝光

叶青足球世界 浏览 2889

宇树科技更名!正在办理工商变更,已完成首期上市辅导

红星资本局 浏览 3355

富勒姆球队大巴在英联杯赛前和一辆货车剐蹭,车体出现大划痕

懂球帝 浏览 2631

当女将军成为内娱偶像剧时尚单品,我们更怀念穆桂英

时尚COSMO 浏览 5524

歌手出场费揭秘!薛之谦价格媲美林俊杰,杨丞琳比张韶涵低50万

萌神木木 浏览 2361

谢娜发文为双胞胎女儿庆生,张杰转发

韩小娱 浏览 2171

大厂们掀起春节大战:狂撒10亿红包,只为争夺AI时代「新船票」?

雷科技 浏览 2300

这些才是最适合普通人的穿搭!上衣修身、一衣多穿,大方简约

静儿时尚达人 浏览 469

俄美乌首次三方会谈触及实质议题 领土问题仍有分歧

上观新闻 浏览 2375
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1