关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2852人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

王菲女儿李嫣疑恋爱!与帅气男生现身机场

二妹扯娱 浏览 3148

杨紫胡歌“以命换命”,《生命树》到底讲了什么?

仙女事件簿 浏览 2794

定位大型旗舰SUV 零跑D19预告图发布

车质网 浏览 3740

失业半年!52岁卡纳瓦罗获国足邀请:有望时隔4年重返中国

叶青足球世界 浏览 4726

泽连斯基:乌美就领土问题讨论6.5小时

每日经济新闻 浏览 3613

对话黑芝麻高管:不烧钱造新芯,机器人平台发布前已经创收

车东西 浏览 3683

卡拉菲奥里:我不想看世界杯比赛;希望在阿森纳继续赢下去

懂球帝 浏览 110

金莎穿娃娃领白衬衣领证,衬衫很宽松显肚子

秋姐居 浏览 1549

今年最火的4双平底鞋,配小黑裙好看又气质!

LinkFashion 浏览 799

美股多板块盘中集体重挫,一份假想AI报告引发的抛售潮

华尔街见闻官方 浏览 2451

A股天然气板块拉升,霍尔木兹海峡关闭引全球气价预警

览富财经网 浏览 2441

重大转变?特朗普邀请中国车企赴美建厂

电动知家 浏览 2957

冲刺第一股,中国最大独立模型厂商的成色、能力与野心

晚点LatePost 浏览 3325

刘强东朋友圈疑曝光,自嘲在老婆面前失去没自信

柠檬有娱乐 浏览 3936

麒麟信安与智慧眼达成战略合作 共推AI+操作系统融合应用

财闻 浏览 4286

冬季穿衣别太过于单薄,看看这些大衣和羽绒服,保暖简约百搭

静儿时尚达人 浏览 3469

没想到这3个小习惯,给我生活带来这么大的变化

黎贝卡的异想世界 浏览 4173

3年半亏损289亿,华侨城A换帅,人均薪酬15.5万元

华美财经 浏览 4862

北约秘书长吕特与泽连斯基通话 讨论对乌军援

极目新闻 浏览 4790

美论坛:为什么中国明知很容易被摧毁 仍在南海建基地

博览历史 浏览 7278

追觅科技CEO俞浩发声:怼人的员工早就提出离职,我有肚量,不会在意

红星新闻 浏览 2977
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1