关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro4222人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

短剧一哥易主,陈添祥跌出排名,榜首实力太强

喜欢历史的阿繁 浏览 1713

王一博发声,谈暂停拍戏原因

蕾爸退休日记 浏览 4570

白俄罗斯国防部长:边境出现“前所未有”军事集结

环球网资讯 浏览 4422

在桃浦,解锁未来发展无限可能

上观新闻 浏览 4628

券商密集实施中期分红 近90亿元红利在路上

证券时报 浏览 4763

35岁郑爽近照曝光!脸部又僵又肿网友直呼认不出,彻底成了素人

萌神木木 浏览 4481

中国公民需谨慎前往日本 四大原因披露

环球网资讯 浏览 44636

千亿减肥药市场打响“地板价”争夺战

中国商报 浏览 4739

负债亏损盈利:三家央企新能源谁更胜一筹?

汽车公社 浏览 4883

埃迪-豪面对前东家伯恩茅斯7场不胜,并列英超主帅最长不胜纪录

直播吧 浏览 6064

希门尼斯:我们踢了一场好比赛;希望勒诺尔芒能尽快回归

懂球帝 浏览 5245

鲁媒:山东队将与宁波队、海牛与申花进行热身赛

懂球帝 浏览 3837

复出高效,波尔津吉斯砍30分5板4助2断3帽&得分勇士生涯新高

懂球帝 浏览 3409

罗晋父亲离世后唐嫣首发声

娱乐圈圈圆 浏览 4939

伊姐周六热推:电视剧《亦舞之城》;电视剧《时差一万公里》......

伊周潮流 浏览 4893

舒淇哽咽表白冯德伦:谢谢你娶一个不常在家的女人

Yuki女人故事 浏览 7750

AI如何助力空调“降温”过程中更节能,珠海这场论坛揭秘

南方都市报 浏览 5446

双电机还不够?三电机都来了 新款阿维塔12申报图曝光

网易汽车 浏览 4530

最好的相互救赎,我在《秋雪漫过的冬天》看见了

仙女事件簿 浏览 4358

中国买家为希腊黄金签证花25万欧买房 如今2万欧卖出

红星新闻 浏览 9779

妓女身份被揭穿,喝药自杀,褚韶华却助力康二妞实现蜕变新生!

电和影 浏览 6124
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1