当前位置:首页 > 百科 > 失控的AI智能体,正在抛弃GPU? 正文

失控的AI智能体,正在抛弃GPU?

来源:星锐云联资讯网   作者:探索   时间:2026-07-17 05:31:15

作者丨薛皓皓
编辑丨关雎

过去一年,失控美国科技圈掀起了一场以“AI替代人力”为名的智正抛裁员潮。其底层逻辑看似无懈可击:既然AI能干活,失控人类员工便可精简。智正抛

然而,失控现实远比预期残酷。智正抛

一项针对300多家企业HR的失控深度访谈揭示了一个尴尬的事实:36%的公司在大举裁员后,被迫将裁减人数的智正抛一半重新招回。原因并非AI不够智能,失控而是智正抛其稳定性不足,关键业务环节仍高度依赖人工兜底。失控

更具讽刺意味的智正抛是,企业通过裁员节省的失控人力成本,迅速被天文数字般的智正抛AI Token账单吞噬殆尽。

Uber是失控这一现象的典型缩影。去年12月,Uber全面推广AI编码工具,工程师普及率迅速飙升至95%。然而仅4个月后,Uber全年的AI预算便宣告超支。总裁随即紧急叫停,强制规定每人每月AI工具开销上限为1500美元。

另一个极端案例来自OpenClaw。2026年5月,已加入OpenAI的OpenClaw创始人Peter Steinberger公开了一张令人咋舌的使用统计截图。据媒体报道,其仅3人的团队,便运行了约100个Codex编码智能体实例。在过去30天内,该团队发起了约760万次请求,消耗了约6030亿个Token,API等效成本高达130.5万美元。

这背后隐藏着一个致命的结构性缺陷:智能体并非线性完成任务,而是在陷入“无限循环”。每一轮迭代,智能体都将代码、报错日志、搜索结果重新塞入上下文窗口,导致Token消耗呈指数级爆炸。普通对话每轮仅消耗约1万个Token,推理模型约为10万,而智能体动辄突破100万。同一任务执行两次,消耗量差异可达30倍。

这场由账单引发的危机,正倒逼整个行业重新审视AI的运行范式。为此,创业邦与引航陪跑创业营教练、原高通全球副总裁沈劲深入探讨了这一趋势。

01 Token消耗量暴涨100倍:从降本到增负的悖论

沈劲未曾料到,运行AI Agent的成本会如此高昂。

作为一名投资人,他日常需处理海量邮件、微信消息及短信通知。这些任务繁琐但逻辑简单,正是AI智能体的强项。于是,他在某知名通用AI Agent平台上搭建了一套自动化工作流,设定触发条件,让智能体每日自动执行。

结果,灾难在第一天降临。

沈劲原本拥有每月8000积分的额度,按正常节奏足以支撑一个月的智能体运行。然而,智能体启动后并未高效作业,反而频繁出现BUG,更严重的是,在短短一天内,8000个积分全部归零。

沈劲随即向平台方发送邮件,语气克制但诉求明确:使用官方模板、按标准流程运行,BUG未修复且积分耗尽,要求补偿。

对方选择了沉默。

“可能他们刚完成融资,推广攻势猛烈,无暇顾及此类售后问题。”沈劲分析道。这种沉默持续整整一个月,直到次月系统自动重置积分,他才重新获得8000积分。

“现在我不敢用了,估计过两天就会取消订阅。”沈劲语气平淡,但结论尖锐——这并非个案,而是行业共性痛点。

微软也遭遇了类似困境。其设备体验部门(负责Windows、Microsoft 365、Teams等核心产品)曾向数千名开发人员、设计师及项目经理开放Claude Code权限。该产品内部反响热烈,但账单随之失控。为避免开支失控,该部门被迫要求在今年6月末取消绝大多数内部Claude Code许可证。

随着ChatGPT等技术的演进,Token消耗呈现指数级飙升。沈劲指出:
* ChatGPT类对话式AI:每轮消耗约1万个Token;
* 推理模型:每轮消耗约10万个Token;
* AI智能体:每轮消耗约100万个Token。

三年多时间,单位使用量暴涨100倍。

这100倍的增长中,绝大部分并非用于内容生成(代码、文字、图片),而是用于数据输入

以代码生成为例,研究显示输入Token与输出Token之比高达154:1。这意味着每生成1个Token,需消耗154个输入Token。这些输入Token去哪了?

答案是:反复循环读取。在每一轮对话中,AI将上一轮的工具调用结果、报错信息、网页搜索记录、代码片段重新打包输入,再进行下一轮修改。对话次数越多,输入Token如滚雪球般急剧膨胀。

Token消耗不可预测性更是企业噩梦。同一任务执行两次,消耗差距可达30倍。“做完这次任务花10美元,下次同样任务可能要花300美元。”沈劲坦言。

企业本指望AI编程实现降本增效,结果却适得其反。Meta、微软等硅谷巨头今年上半年裁撤超10万个岗位,AI成为主要理由。然而,高昂的AI账单叠加遣散费,已抵消了AI带来的红利。

“最新报告显示,超三分之一企业在裁员后不得不召回一半被裁员工,因为他们发现AI并未带来预期的成本节约和效率提升。”沈劲指出。

02 GPU统治三年终结,CPU迎来翻身仗

智能体AI带来的变革,不仅在于昂贵的Token消耗,更在于CPU架构的历史性回归

过去三年,市场焦点几乎全在GPU上。2025年,Meta、微软、谷歌和亚马逊四家巨头在AI智算中心投入超3000亿美元,其中60%用于采购GPU。

在AI智算中心服务器内部,GPU与CPU配比约为8:1,GPU需求远超CPU。这种悬殊也反映在市值上:2025年底,GPU霸主英伟达市值突破3万亿美元,而CPU巨头英特尔市值不足2000亿美元。

但在沈劲看来,关键拐点已至:GPU与CPU配比正从8:1向1:1转变。“在AI Agent时代,CPU正悄然重回舞台中央。”

GPU擅长内容生成,但AI Agent最耗资源的环节是“编排”与“调度”,这正是CPU的强项。

具体而言,AI Agent依赖CPU完成以下核心工作:
1. 任务编排:决定执行顺序与逻辑分支;
2. 状态持久化:记忆上下文,确保多步骤任务连贯;
3. 高并发API调用:同时向多个外部系统发起请求;
4. 沙盒环境管理:为代码运行提供隔离测试空间;
5. 工具调用:操作浏览器、数据库、搜索引擎等。

沈劲以一次复杂的机票预订为例:需搜索上海出发,途经西班牙、多伦多,最终抵达圣地亚哥的行程。要求:超7小时航段为商务舱,短途为经济舱;总价最低且登机时间合理。

智能体需反复调用各大航司数据接口及OTA平台,拉取数十种方案的价格、舱位、时间,并进行多条件比对筛选。

整个过程几乎不涉及内容生成,全是海量数据调取、比较与编排。最终,CPU使用率飙升至70%~80%,GPU几乎无用武之地。

由此可见,任务越复杂、越依赖外部数据调取和多步骤编排,CPU占比越高。

当前,AI硬件正推动运算模式从云端向本地迁移。

云端模式是“按Token计费”,智能体的“上下文雪球效应”导致账单无上限。更重要的是,云端数据中心以GPU为核心(8:1配比),GPU优化于大规模内容生成,却不擅长智能体所需的高频调度与工具调用。

本地设备则截然不同。每台PC均配备高性能CPU,天然适合承接智能体的编排调度。更关键的是,本地运算不按Token计费,无论循环多少次,均无额外账单。

今年6月1日,英伟达在台湾发布RTX Spark硬件,专为本地AI Agent适配。其核心是定制芯片N1X,将GPU与CPU封装一体。英伟达联合微软对Windows 11进行13项底层改造,旨在将传统PC升级为“智能体OS”,实现本地高效运行与软件兼容。

03 苹果范式:隐私与成本的双重胜利

在云端与终端分布式AI领域,苹果始终处于第一梯队。

在近期WWDC上,苹果推出全新AI解决方案。“当硅谷大厂卷参数规模时,苹果追求的是最懂个人、最安全、最能调度工具的AI。”沈劲评价道。

苹果构建了基于任务复杂度的五层AI架构

  1. 第一层(本地):30亿参数轻量模型,处理日常高频需求(通知总结、短信摘要、语气调整)。完全离线,Token成本为0。
  2. 第二层(本地):200亿参数稀疏模型,每次激活10-40亿参数。负责高质量Siri对话、多模态理解(识图)。完全离线,Token成本为0。
  3. 第三层(苹果私有云):处理复杂推理、多步骤智能体工作流、高质量图像生成。由苹果自研芯片服务器上的主力语言模型处理。
  4. 第四层(苹果私有云):专注高质量图像生成与复杂编辑,使用苹果自研模型。
  5. 第五层(谷歌公有云):运行于英伟达GPU,处理前四层无法解决的极端任务(如高级数学推理、极复杂多模态理解)。

沈劲认为,苹果分层架构实现了两大目标:省钱隐私保护
* 能本地解决的,绝不上云;
* 必须上云的,优先走私有云;
* 仅极少数极端任务流入公有云。

04 创业者机遇:四大新方向

面对Token账单失控,沈劲为创业者指出四个值得深耕的方向:

  1. 消费类AI终端及终端小模型:手机市场格局已定,但手机之外的C端设备(盒子、眼镜、手表)仍存巨大机遇。
  2. 分布式智能体AI运营商:端云协同成为主流,必然需要调度层。该层需判断任务最佳执行位置(本地小模型、私有云、公有云),并负责任务编排与状态维护。
  3. Context Engineering(上下文工程)技术公司:Token消耗问题尚未根本解决。若有一家公司能开发中间层,在请求进入云端大模型前进行压缩优化,降低60% Token消耗,必将获得市场青睐。
  4. CPU产业链:无论是超算中心CPU,还是PC、手机、边缘盒子等终端CPU,均是极佳创业方向。

欢迎点击链接报名引航陪跑创业营:https://www.coachingcamp.cn/

标签:

责任编辑:探索