关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3420人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

高市一度被贴上"安倍女孩"的标签 潜在内阁成员被披露

政知新媒体 浏览 9593

始祖鸟“烟花秀”争议背后:母公司亚玛芬营销费用增长,两个月前大中华区换帅

红星资本局 浏览 5253

美官员:特朗普不满伊朗新提案 核问题须优先解决

界面新闻 浏览 1539

网红白冰偷税被追缴1891万账号禁言 妻子披露其现状

阿纂看事 浏览 35897

香港中文大学突破AI训练难题:单个词汇也能让机器学得更聪明

科技行者 浏览 4566

林心如曝霍建华消费观

科学发掘 浏览 3593

克林顿夫妇作证时间确认 民主党人炸锅:特朗普你等着

澎湃新闻 浏览 95203

股市:更大的想象空间来了

小白读财经 浏览 3400

这些才是适合普通人的穿搭!秋天多穿蓝色单品和风衣,好耐看

静儿时尚达人 浏览 4489

小鹏汽车出海新动态:小鹏 MONA 正式发往中东非

IT之家 浏览 4083

董忠云:保持战略定力,增强必胜信心,A股有望恢复震荡上行趋势

首席经济学家论坛 浏览 4414

媒体:中美元首会晤让赖清德坐立不宁、寝食难安

环球时报新闻 浏览 15326

伊萨克遭范德芬剪刀脚,伤病分析师:前者很大可能伤缺8-10周

懂球帝 浏览 3847

将生产两款纯电SUV 丰田最新消息曝光

乐选爱车 浏览 5306

有种的冲这儿打!

电影最TOP 浏览 4624

英特尔与谷歌围绕至强CPU与定制IPU深化双方多年合作

IT之家 浏览 1961

雷军回应内部会议将玄戒O1读成01:鬼使神差念错了

IT之家 浏览 3546

60分!森林狼7名主力缺阵仍134-74狂胜广州,陈国豪6分

懂球帝 浏览 4593

她是在官宣恋情?她们真的恋爱了?

青杉依旧啊啊 浏览 4189

年销量仅完成33%,新能源占比不足1/3,长城汽车连续5年未达目标

野马财经 浏览 3582

方永飞怼雷军,“行业不敢说的话全被他讲透了”

车轱辘话V 浏览 3842
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1