Claude 3.7硬控马里奥90秒，GPT-4o开局暴毙，Karpathy直呼基准失效，游戏成LLM新战场 - 比特币学堂

Claude 3.7硬控马里奥90秒，GPT-4o开局暴毙，Karpathy直呼基准失效，游戏成LLM新战场

2025年03月06日 10:02:39 加密货币互联网

欧易OKX交易所

全球三大交易所之一，注册领取价值6,0000元数字货币盲盒

APP下载官网注册

Claude 3.7硬控马里奥90秒，GPT-4o开局暴毙，Karpathy直呼基准失效，游戏成LLM新战场

Karpathy发出灵魂拷问，评估AI究竟该看哪些指标？答案或许就藏在经典游戏里！最近，加州大学圣迭戈分校Hao AI Lab用超级马里奥等评测AI智能体，Claude 3.7结果令人瞠目结舌。

LLM评估基准的「黄金标准」，正在失效？

一大早，AI大神Karpathy发出质疑，「目前存在一种评估危机，我真的不知道现在该看哪些指标了」。

诸如MMLU、SWE-Bench Verified、Chatbot Arena等这些基准，各有自己的优劣之处。

如果这些都不够，那么游戏算不算？

毕竟，曾经红极一时的AlphaGo是围棋界的头号AI；就连OpenAI也早年涉足游戏领域，拿着自研AI在DOTA国际赛中取得亮眼的成绩。

最近，Claude 3.7的出世，让「宝可梦」一时间成为LLM评判的新标杆。

UCSD Hao AI Lab再次出手，开源了一种全新的「游戏智能体」，能够实时让计算机使用智能体（CUA）运行解谜、益智等类型的游戏。

结果显示，Claude 3.7 Sonnet玩超级马里奥足足撑满90s，直接碾压了OpenAI、Gemini和自家前辈；而GPT-4o一上来就直接挂掉了……

谷歌选手Gemini 1.5 Pro首战即败，而且非常有规律地两步一跳。到了Gemini 2.0虽多走了几步，最终还是栽坑。

GamingAgent项目代码已开源，下载安装即可观战AI游戏大PK。

GPT-4.5反应迟钝，GPT-4o永远被第一个小怪杀死

GPT-4o总是被第一个小怪杀死，像极了操作很烂会被队友喷的游戏菜鸡。

短短20s，游戏就结束了。

相比之下，GPT-4.5的表现就好多了，起码没卡在第一个小怪。

但它的反应还是很迟缓，几乎是两步一停。

跳过一个矮水管之前，也要犹豫片刻，感觉像是刚学会了游戏操作，还在蹒跚学步。

一个稍高点的水管，尝试了7次，足足花了10s才跳了过去。

好不容易跳了过去，就撞到小怪死掉了。第一回合就这样告终了。

更好笑的是，第二回合的时候，GPT-4.5又栽倒在了第一个小怪那里。毕竟和GPT-4o同属于OpenAI家族，操作都比较菜（bushi）。

第三回合表现也比较一般，还不如第一回合。第一个矮水管就卡了半天，搁水管底下卡了快10s才想起来跳。

最后虽然丝滑地跳过了第二个水管，但还是被小怪杀死了，还没有第一回合走得远。第一回合起码跳过了第三个水管，虽说刚跳过就被杀了。

Gemini 1.5两步一跳，2.0栽进坑里

到了谷歌这边，Gemini 1.5 Pro首战也不如意，没能逃过第一个小怪的魔爪。

第二回合Gemini 1.5算是躲过了第一个小怪，甚至还碰到了问号箱，吃到了蘑菇。

有趣的是，和GPT-4.5两步一停不同，Gemini 1.5是「两步一跳」。

走了这么一小段路，一共就跳了9回。地板上也跳一跳，水管上也跳一跳。

最后也是跳过了第三根水管，甚至差点跳过了第四个，算是走得比GPT-4.5要远。

至于更新的Gemini 2.0 Flash，表现上不出意外地要好得多。

首先，跳得更大胆；其次，跳得也更流畅。

跳到了「前人」未曾涉足的更高的平台上，而且10s就轻松跳过了前面三个水管。

虽然第二回合的时候也惨遭第一个小怪的毒手。

但最后走得比OpenAI家族和Gemini 1.5都远——跳过了第四根水管，栽倒在了一个没能跳过去的坑中。

Claude 3.7 Sonnet发现隐藏奖励

相比之下，Anthropic的Claude，就要惊艳多了。

相比于Gemini两步一跳的操作，Claude 3.7的操作更加丝滑，走得也远很多。

尤其是在跳跃的时机上，显得更有章法，碰到水管、碰到坑才会跳。

此外，还会有意识地通过跳跃来躲避小怪。

跳过了Gemini 2.0 Flash两回合都没跳过去的坑，Claude操作下的马里奥终于是吃到了金币；终于是碰到了除了哥布林（形似蘑菇）之外的小怪——库巴（形似乌龟）；甚至还碰出了隐藏奖励——超级星星。

最后是掉到了阶梯平台之间的坑里，结束了游戏。

AI大战2048益智游戏，GPT-4o拿不出手

接下来，再看一个益智类的游戏2048。

可能很多人对这款游戏并不熟悉，规则是通过滑动进行拼图，玩家将带有相同数字的方块合并，达到可能最高的数值。

GPT-4o在挑战过程中，因为思考过久，陷入困境。

而Claude 3.7虽多走了几步，比GPT-4o强不少，但最终还是以失败告终。

俄罗斯方块，智商在线

那么Claude 3.7玩俄罗斯方块的表现，又如何呢？

Anthropic开发者关系负责人Alex Albert称赞道，「非常酷！我们需要把每一款电子游戏都变成一种评估工具」。

已经有网友在评论区许愿，让Grok 3加入战场。

看来，LLM评估即将开辟一条全新的路。

参考资料：

https://x.com/haoailab/status/1895557913621795076

https://x.com/haoailab/status/1895605453461340472

https://lmgame.org/#/aboutus

本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。

最新区块链知识

山寨币网络上发生令人担忧的事件：开发者发表声明

山寨币网络上发生令人担忧的事件：开发者发表声明

Injective发布声明，说明其生态系统内部分验证节点因网络加速更新而暂时停用。该项目表示，Injective区块链并未遭受攻击，用户资金安全无虞。根据 Injective 的声明，社区贡献者昨

2026年09月02日 0阅读

知名分析师：“那些声称比特币会在此日期前创下历史新高的人都是在撒谎”

知名分析师：“那些声称比特币会在此日期前创下历史新高的人都是在撒谎”

加密货币分析师 Sherlock 认为，根据比特币的历史价格周期，新的历史最高点 (ATH) 可能要到 2027 年 6 月才会出现。根据Sherlock的评估，比特币已经329天没有突破2025年10月6日创

2026年09月02日 0阅读

随着比特币（Btc）价格回调，恐慌与贪婪指数也开始下降！详情如下。

随着比特币（Btc）价格回调，恐慌与贪婪指数也开始下降！详情如下。

尽管市场情绪略有下滑，但 CoinMarketCap 的加密货币恐惧与贪婪指数仍维持在“贪婪”区域。该指数较昨日下跌 2 点至 73。该指数用于衡量加密货币市场的投资者情绪。数值越接

2026年09月02日 0阅读

美国证券交易委员会发布关于加密货币的积极官方公告！

美国证券交易委员会发布关于加密货币的积极官方公告！

美国证券交易委员会（SEC）宣布了一项新的规则变更提案，旨在更新沿用数十年的注册过户代理机构相关法规。该法规力求在现有规则框架内，更清晰地反映证券发行和股份转让过程中电子

2026年09月02日 0阅读

最近最热门的话题是 Robinhood Chain，哪些山寨币与之关联？

最近最热门的话题是 Robinhood Chain，哪些山寨币与之关联？

Robinhood 的生态系统围绕其自主开发的二层网络 Robinhood Chain 构建，正在加密货币市场开创新的局面。近期，Lighter (LIT)、Morpho (MORPHO)、Uni wap (UNI)、LayerZero (ZRO

2026年09月02日 0阅读

美联储高级成员巴尔发表了有关利率的声明，加密货币不会喜欢这种利率。

美联储高级成员巴尔发表了有关利率的声明，加密货币不会喜欢这种利率。

美联储理事迈克尔·巴尔表示，如果通胀没有充分下降，他准备支持加息。巴尔在华盛顿的一个银行业论坛上发表讲话时表示，通胀率连续近五年半高于美联储 2% 的目标，增加了经济中更广

2026年09月02日 0阅读

Strategy Ceo就牛市发表了声明，称他们没有出售比特币的计划！以下是详情。

Strategy Ceo就牛市发表了声明，称他们没有出售比特币的计划！以下是详情。

Strategy首席执行官Phong Le表示，比特币正进入强劲的牛市，公司没有出售其比特币持仓的计划。Le在接受彭博社采访时表示，Strategy将继续其比特币增持策略，即使价格上涨，也可能继续

2026年09月02日 0阅读

突发新闻：Coinbase 出人意料地决定上线山寨币！

突发新闻：Coinbase 出人意料地决定上线山寨币！

/* cu tom c */.tdb_ ingle_featured_image{ margin-bottom: 26px; }.tdb_ ingle_featured_image.tdb- fi- tretch{ o

2026年09月02日 0阅读

比特币在九月份表现如何？以下是您需要了解的信息。

比特币在九月份表现如何？以下是您需要了解的信息。

比特币（BTC）在历来表现疲软的9月伊始便出现下跌。9月1日，比特币价格跌破78,000美元，短期前景面临压力，这既受季节性因素影响，也受到美联储利率政策预期的影响。由于比特币在加密货

2026年09月02日 0阅读

币安创始人赵长鹏宣布，加密货币行业已经度过了历史上最严峻的“加密寒冬”！以下是详情。

币安创始人赵长鹏宣布，加密货币行业已经度过了历史上最严峻的“加密寒冬”！以下是详情。

/* cu tom c */.tdb_ ingle_featured_image{ margin-bottom: 26px; }.tdb_ ingle_featured_image.tdb- fi- tretch{ o

2026年09月01日 0阅读

猜你感兴趣

Bitget Ceo就黑客事件发表最新声明！提款重新开放日期公布。

Bitget Ceo就黑客事件发表最新声明！提款重新开放日期公布。

加密货币交易所Bitget在安全事件发生后上调了已确认的损失金额。Bitget首席执行官陈嘉琪表示，攻击已被完全控制，不会再发生未经授权的资产转移。据陈先生称，已确认转移至攻击者

2026年09月26日 99阅读

突发新闻：Bitget黑客事件仍在继续——最新进展！

突发新闻：Bitget黑客事件仍在继续——最新进展！

据称属于加密货币交易所 Bitget 的钱包出现异常活动，引发了人们对可能遭受黑客攻击的怀疑。链上数据显示，高价值资产正从该交易所的热钱包和冷钱包中转移，其中相当一部分资金被

2026年09月25日 98阅读

比特币价格怎么查询？BTC实时价格、涨跌幅和市值怎么看

比特币价格怎么查询？BTC实时价格、涨跌幅和市值怎么看

比特币价格可以通过提供BTC实时行情的数据平台、金融终端或合规交易服务查询。由于比特币在全球多个市场全天候交易，不同平台的价格可能存在小幅差异，因此查询时应同时核对计价货币、数据来源、更新时间和成交量。对于普通读者来说，只看

2026年09月23日 97阅读

突发新闻：Bitget 疑似遭遇重大黑客攻击！

突发新闻：Bitget 疑似遭遇重大黑客攻击！

有指控称，加密货币交易所Bitget的链上出现了异常活动。据称，事件规模超过1亿美元。虽然一些用户报告称提现被阻止，但高价值资产转移似乎已从标记为属于 Bitget 的热钱包和冷钱

2026年09月25日 96阅读

比特币的关键时期即将到来：Btc 即将进入牛市！历史会重演吗？以下是相关数据……

比特币的关键时期即将到来：Btc 即将进入牛市！历史会重演吗？以下是相关数据……

自7月以来，领先的加密货币比特币一直处于上涨趋势。目前，比特币在7月和8月均收涨，并有望在9月继续保持上涨势头。如果9月底比特币价格上涨，这将标志着比特币在7月至9月期间连续

2026年09月26日 94阅读

这波山寨币浪潮席卷市场！中国创始人将其与比特币相提并论，并宣布 Grayscale 已达到里程碑！详情如下……

这波山寨币浪潮席卷市场！中国创始人将其与比特币相提并论，并宣布 Grayscale 已达到里程碑！详情如下……

随着比特币和山寨币牛市持续，Zca h (ZEC) 凭借其强劲的表现，已成为加密货币市场中的佼佼者。Zca h 的上涨伴随着流入 Gray cale 旗下 Zca h ETF (ZCSH) 的资金增加，以及人们对

2026年09月26日 93阅读