EN
uoa.zqysoft.com

《少女国产免费观看高清电视剧大全》质疑DeepSeek-R1、Claude Thinking不会推理!苹果争议论文翻车?

然而近日,苹果团队的一篇论文对 LLM 的推理能力提出了质疑,并提出了自己的观点 ——像 DeepSeek-R1、o3-mini 这类模型实际上根本没有进行推理,只是很擅长记忆模式罢了 苹果从问题复杂性的角度探究前沿推理模型(LRM)的推理机制,没有采用用标准基准(例如数学问题),而是采用可控的谜题环境,通过调整谜题元素并保留核心逻辑,系统地改变复杂度,并检验解决方案和内部推理(图 1 顶部)。 这些谜题:(1) 对复杂性进行细粒度控制;(2) 避免现有基准中常见的污染;(3) 仅需明确提供的规则,强调算法推理;(4) 支持基于模拟器的严格评估,从而实现精确的解决方案检查和详细的故障分析。 首先,尽管这些模型通过强化学习习得了复杂的自我反思机制,但它们未能发展出适用于规划任务的泛化问题解决能力,其性能在超过一定复杂度阈值后会崩盘至零。 其次,苹果在等效推理计算条件下对 LRM 和标准 LLM 进行了比较,揭示了三种不同的推理机制(图 1 底部)。其中对于更简单、低组合性的问题,标准 LLM 表现出更高的效率和准确性。随着问题复杂度的适度增加,思维模型会获得优势。然而,当问题达到高复杂度且组合深度更长时,两种模型类型的性能都会完全崩溃(图 1 左下)。值得注意的是,接近这个崩溃点时,尽管 LRM 的运行速度远低于代数限制,但随着问题复杂度的增加,它们开始减少推理工作量(以推理时间 token 衡量)(图 1 中下)。这表明,相对于问题复杂度,LRM 的推理能力在推理时间尺度上存在根本的限制。 最后,苹果对中间推理轨迹或思维的分析揭示了与复杂性相关的模式:在较简单的问题中,推理模型通常会尽早识别出正确的解决方案,但会低效地继续探索错误的替代方案 —— 这是一种「过度思考」现象。在中等复杂度下,正确的解决方案只有在广泛探索错误路径后才会出现。超过一定的复杂度阈值,模型将完全无法找到正确的解决方案(图 1 右下)。这表明 LRM 具有有限的自我修正能力,虽然很有价值,但也暴露出其根本的效率低下和明显的扩展限制。 对当前基于既定数学基准的 LRM 评估范式提出质疑,并利用算法谜题环境设计了一个可控的实验平台,该环境能够根据问题复杂性进行可控的实验。实验表明,最先进的 LRM(例如 o3-mini、DeepSeek-R1、Claude-3.7-Sonnet-Thinking)仍然未能开发出可泛化的问题解决能力。在不同环境中,当复杂度超过一定水平时,准确率最终会降至零。苹果发现 LRM 的推理能力在问题复杂性方面存在一个扩展极限,这一点可以从思维 token 在达到某个复杂性点后呈现的反直觉下降趋势中看出。苹果质疑当前基于最终准确率的评估范式,并借助确定性谜题模拟器将评估范围扩展到思维轨迹的中间解。分析表明,随着问题复杂度的增加,正确的解会系统性地出现在思维的后期,而错误的解则不然,这为理解推理模型 (LRM) 中的自我修正机制提供了定量层面的见解。苹果发现 LRM 在执行精确计算方面存在一些令人惊讶的局限性,包括它们无法从显式算法中获益,以及它们在不同谜题类型之间的推理不一致。 在这篇论文的作者中,共同一作为 Parshin Shojaee,她现在为 Virginia Tech 三年级博士生,且为苹果的研究实习生。另一位共一 Iman Mirzadeh 为苹果的 ML 研究工程师。此外,Yoshua Bengio 的兄弟 Samy Bengio 也参与了这项工作,他现为苹果的 AI 和机器学习研究高级总监。 目前,我们尚不清楚近期基于强化学习的思维模型所观察到的性能提升是归因于「更多接触已建立的数学基准数据」,还是归因于「分配给思维 token 的显著更高的推理计算能力」,又或是归因于「基于强化学习的训练所开发的推理能力」? 最近的研究通过比较基于强化学习的思维模型与其非思维标准 LLM 对应的上限能力 (pass@k),利用已建立的数学基准探索了这个问题。他们表明,在相同的推理 token 预算下,非思维 LLM) 最终可以在 MATH500 和 AIME24 等基准测试中达到与思维模型相当的性能。 苹果还对前沿的 LRM 进行了比较分析,例如 Claude-3.7-Sonnet(有思维 vs. 无思维)和 DeepSeek(R1 vs V3)。结果如图 2 所示,在 MATH500 数据集上,当提供相同的推理 token 预算时,思维模型的 pass@k 性能与非思维模型相当。然而,苹果观察到这种性能差距在 AIME24 基准上有所扩大,在 AIME25 上进一步扩大。这种不断扩大的差距带来了解释上的挑战。 这可以归因于:(1)复杂性不断增加,需要更复杂的推理过程,从而揭示思维模型在更复杂问题上的真正优势;或者(2)在较新的基准(尤其是 AIME25)中数据污染减少。有趣的是,人类在 AIME25 上的表现实际上高于 AIME24,这表明 AIME25 的复杂度可能较低。然而,模型在 AIME25 上的表现比 AIME24 更差 —— 这可能表明在前沿 LRM 的训练过程中存在数据污染。 鉴于这些不合理的观察结果以及数学基准不允许对问题复杂性进行控制操纵的事实,苹果转向了能够进行更精确和系统实验的谜题环境。 汉诺塔谜题(Tower of Hanoi)包含三个桩子和 n 个大小不同的圆盘,这些圆盘按大小顺序(最大的在底部)堆叠在第一个桩子上。目标是将所有圆盘从第一个桩子移动到第三个桩子。有效的移动方式包括一次只移动一个圆盘、只取桩子顶部的圆盘,以及永远不要将较大的圆盘放在较小的圆盘上。此任务的难度可以通过初始圆盘的数量来控制,因为初始圆盘数量为 n 时所需的最小移动次数为 2^n − 1。然而,在本研究中,苹果不对最终解决方案的最优性进行评分,而只衡量每次移动的正确性以及是否达到目标状态。 跳棋(Checker Jumping)是一个一维谜题,将红色棋子、蓝色棋子和一个空格排成一条线。目标是交换所有红色和蓝色棋子的位置,有效地镜像初始配置。有效的移动包括将棋子滑入相邻的空位,或跳过恰好一个相反颜色的棋子落入空位。在谜题过程中,任何棋子都不能后退。该任务的复杂性可以通过棋子的数量来控制:如果棋子数量为 2n,则所需的最小移动次数为 (n + 1)^2 − 1。 过河(River Crossing)是一个约束满足规划难题,涉及 n 个参与者及其对应的 n 个代理,他们必须乘船过河。目标是将所有 2n 个个体从左岸运送到右岸。船最多可载 k 个人,且不能空载。当参与者与另一个代理在一起而没有自己的代理时,会出现无效情况,因为每个代理都必须保护其客户免受竞争代理的侵害。此任务的复杂性也可以通过存在的参与者 / 代理对的数量来控制。当 n = 2 或 n = 3 对时,使用船容量 k = 2;当对数较大时,使用 k = 3。 积木世界(Blocks World)是一个积木堆叠难题,要求将积木从初始配置重新排列成指定的目标配置。目标是找到完成此转换所需的最少移动次数。有效移动仅限于任何堆叠的最顶层积木,该积木可以放置在空堆叠上或另一个积木之上。此任务的复杂性可以通过存在的积木数量来控制。 在复杂度适中的第二种状态下,能够生成长思维链的推理模型的优势开始显现,推理、非推理模型之间的性能差距开始扩大。 图 6 表明,所有推理模型在面对复杂度变化时都呈现出相似的模式:随着问题复杂度的提升,模型准确率逐渐下降,直至超过模型特定的复杂度阈值后完全崩溃(准确率归零)。 本文还发现推理模型最初会随着问题复杂度成比例地增加思维 Token 使用量。然而,当接近临界阈值(该阈值与其准确率崩溃点高度吻合)时,尽管问题难度持续增加,模型却会反直觉地减少推理投入。这一现象在 o3-mini 系列变体中最为显著,而在 Claude-3.7-Sonnet(思维版)模型中相对较轻。值得注意的是,尽管这些模型的推理生成长度远未达到上限,且拥有充足的推理计算预算,但随着问题复杂度提升,它们却未能有效利用思维阶段额外的计算资源。这种行为表明,当前推理模型的思维能力相对于问题复杂度存在根本性的扩展局限。 对于简单问题(低复杂度):推理模型通常在思维早期就能找到正确解(绿色分布),但随后持续探索错误解(红色分布)。值得注意的是,与正确的解决方案(绿色)相比,错误解决方案(红色)的分布更倾向于思维的末端。这种现象,在文献中被称为过度思考(overthinking),导致了计算的浪费。 当问题变得稍微复杂时,这种趋势就会逆转:模型首先探索不正确的解决方案,然后再得出正确的解决方案。此时错误解(红色)的分布位置相较于正确解(绿色)明显下移。 如图 8a 和 8b 所示,在汉诺塔环境中,即使本文在提示中提供算法 —— 以便模型只需要执行规定的步骤 —— 模型性能也不会提高,并且观察到的崩溃仍然发生在同一点左右。 此外,在图 8c 和 8d 中,本文观察到 Claude 3.7 Sonnet thinking 模型表现出截然不同的行为模式。该模型在提出的解决方案中首次出现错误的时间往往较晚,而在过河谜题中,该模型仅能生成有效解直至第 4 步。值得注意的是,该模型在解决需要 31 步的问题(N=5)时能达到近乎完美的准确率,却无法解决仅需 11 步的过河谜题(N=3)。这可能表明网络上 N>2 的过河谜题范例较为稀缺,意味着 LRMs 在训练过程中可能较少接触或记忆此类实例。 最大可解规模且没有任何推理空间:DeepSeek:12 个圆盘;Sonnet 3.7 和 o3-mini:13 个圆盘。如果你仔细观察模型的输出,就会发现,如果问题规模过大,它们甚至不会进行推理。 至少对于 Sonnet 来说,一旦问题规模超过 7 个圆盘,它就不会尝试进行推理。它会陈述问题本身以及求解算法,然后输出解决方案,甚至不会考虑每个步骤。 有趣的是,这些模型在每次移动时都有 X% 的概率选出正确的 token。即使有 99.99% 的概率,由于问题规模呈指数级增长,模型最终也会出错。 此外,苹果论文对游戏复杂性的解读也非常令人困惑 仅仅因为汉诺塔谜题需要的步数比其他塔多得多,而其他的只需要二次或线性更多的步数,这并不意味着汉诺塔谜题更难。

《少女国产免费观看高清电视剧大全》
《少女国产免费观看高清电视剧大全》整体来看,李杨认为不论是可灵AI还是其他视频大模型,虽然起点与速度不同,但都在一个大的起点范围内,未来行业还有非常多事情去做,待模型的基础表达、稳定性、可控性均达到临界点之后,才会诞生更多更新的实用型产品形态。北京时间6月20日,对于媒体上出现的尤文图斯可能签回迪巴拉的传闻,意大利名记罗马诺在自己发布的视频中进行了否认。《少女国产免费观看高清电视剧大全》满18岁免费观看高清电视剧最近,美团透露了一组数据:美团与万豪国际联合会员体系上线24小时内,万豪在美团上预订量同比增长88%,其中,95后年轻用户的订单增幅超148%。从简介来看,该剧的题材足够新颖。观众看剧第一眼首先看到的是质感,《在人间》的质感也收获了好评,画国产精品秘 久久久久久面、音精品无码秘 人妻一区二区媚黑乐和运镜都符合题材的调性,有一种赛博感。在氛围上,导演也通过画面和音乐突鲁鲁射击免费播放电视剧全部出了悬疑的元素,能够引人入胜。
20250812 👄 《少女国产免费观看高清电视剧大全》也就是说,当前国内车市的增长,增换购已经成为了汽车市场保持增长的主导力量。如今,部分地方城市汽车置换补贴即将暂停,这无疑也将给即将步入销售淡季的车市,带来一定的竞争压力。当然,随着部分地区的补贴资金阶段性紧张,为了赶上本轮“以旧换新”政策的末班车,不排除这些地区城市有望迎来促销“小高峰”的可能。《夫妻快乐宝典》完整版“平台拥有强大的数据整合与智能分析能力,可实时监测和智能调控建筑内的水、电、气、暖等资源,同时将报修、巡检、保养、应急处理等运维流程数字化、标准化、可视化,不仅能快速发现问题,还能预测潜在风险,实现精准治理。”高松说。此外,平台累积的海量运维数据,还可为城市规划、设施改造等提供科学依据,助力智慧城市向更高效、更人性化的方向发展。
《少女国产免费观看高清电视剧大全》
📸 何敏悦记者 荣亮 摄
20250812 🌸 《少女国产免费观看高清电视剧大全》在目前情况下,克洛普依然非常渴望得到维尔纳,但不莱梅最近所要求的转会费被认为过高。莱比锡的备选方案是吉达国民的雅伊斯勒,尽管他和沙特俱乐部的合同将于2026年到期,但双方已经开始进行初步接触。真人刺激战场40分钟电视剧视频据悉,深圳翔飞是一家汽车销售公司,它将两家相继于2023年爆雷的车企串联了起来。时间回到今年初,深圳翔飞作为威马汽车破产重整计划唯一报名成功的投资人暴露在公众视野。记者了解到,深圳翔飞法定代表人不仅是宝能汽车子公司实控人,其关联方还持有宝能系企业股权。
《少女国产免费观看高清电视剧大全》
📸 吴德琪记者 马凤先 摄
💢 除了其HY1001产品的上市和商业化进程以及HY1002、HY1003项目的研发进展是否能如预期外,禾元生物内部管理层如何避免进一步“动荡”,也让人颇感隐忧。漫蛙漫画(网页入口)
扫一扫在手机打开当前页