最近，硅谷的一场真实打工实验给出了令人意外的答案。这篇文章将带你深入了解这场实验的全过程，看看AI在面对真实工作任务时的表现如何。
万圣节前夜，硅谷把“AI能替人类打工”的幻想拖进现实揍了一顿。
Scale AI让GPT-5、Claude、Gemini等一批“学霸”模型去“打零工”。不是做选择题，也不是写论文，而是独立登录自由职业平台接真实订单。客户付真钱，模型交真货。
这场测试被命名为“远程劳动指数”，是全球首个专门衡量AI“能否真正干活”的基准。
近一半的失败原因是，质量太差、成品业余。
在“分数上天、交付落地”的AI时代，这是一次令人尴尬的对照实验。尽管大模型在标准测试中表现惊人，但将这种“智力”转化为现实世界中的“经济价值”的能力还非常初级。
它也提出了一个比“AI是否聪明”更现实的问题，当真正要为结果付钱时，人们到底愿不愿意雇用AI？目前来看，人机协作仍然是短期到中期的唯一路径。
01 让大模型去赚外快，仅2.5%成功率
AI到底能不能自己帮我赚外快？
Scale AI的前CEO Alexandr Wang最近带头搞了场“AI打工实录”，给出这样的答案：极少数、且限制重重。
为了搞清楚这件事，Scale AI搞了个叫“远程劳动指数”（RLI）的新标准，直接把各大模型当成“打工人”扔进真实项目里接单。
评判标准很现实：客户肯不肯付钱，平台认不认为这活儿干得专业。
测试范围不包括需要持续沟通、团队合作或线下动手的活儿，主要覆盖写作、3D建模、视频动画、建筑设计、游戏开发等23类常见线上工作。
RLI的设计核心就俩字：真实。
所有测试项目都来自全球最大自由职业平台Upwork上的真实订单，一共240个，加起来相当于人类6000小时的工作量，总报酬高达14.4万美元。
比如，做数据报告任务，要求AI根据《世界幸福报告》的Excel数据，做出带世界地图和分数拆分的交互式报告。
其他“学霸”模型更拉胯：Grok 4和Claude Sonnet 4.5稍逊于第一名，均为2.1%；GPT-5为1.3%；而Gemini 2.5 Pro垫底，只有0.8%。
AI的任务通过率统统不超过3%
①45.6%的任务“质量过低”，成品显业余，达不到专业标准；
④14.8%的任务“严重的视觉或逻辑不一致”，例如多镜头视角对不上、文件间彼此矛盾。
典型案例如：在一个珠宝设计项目中，AI的任务是“修改提供的戒指图像，改变钻石切工”。自己放飞生成了两张全新的AI图，图片质量业余、没按需求来、两张新图还对不上，一口气触发了三种失败模式。
AI被“退货”的典型案例
失败原因指向更深的系统性问题。
不过AI也不是一无是处，它在某些特定类型任务上还是有点天赋的，主要集中在两类：一是创意类任务，比如制作音效、设计Logo；二是基础内容类任务，比如部分数据整理或写作。
简单来说，AI擅长“从零开始搞创作”，生成能力不错。可一旦任务需要它串起多个工具、执行多步骤操作、保持文件间的一致性，或者在别人成果上做二次编辑，它基本就手忙脚乱，集体翻车。
这其实说明了一个趋势：工作正在被“拆解”，而不是直接被“替代”。
在RLI中，任务被分为L1到L5五个难度等级。像资料整理、基础文案这类L1-L2任务，通过率却低于5%。有意思的是，L1-L2任务正是很多人类初级岗位的日常。
研究团队也强调，AI的各项指标还在快速进步，RLI基准也会持续追踪。他们计划不断更新测试任务库，并加入多模态、长记忆、工具调用等新维度，目标很明确：把“模型能力”真正转化为“经济价值”来衡量。
02 旧基准失灵，“满分”模型变“掉链子同事”
AI正在考试中证明“聪明”，却在职场中暴露“不会干活”。
近两年，大模型在封闭题库中的分数飙升，GDP-eval、SWE-bench等评测接连被刷到满分。而另一边，企业的初级岗位招聘却在降温。AI的“考试成绩”与真实就业市场的表现，首次出现了明显背离。
原因很简单：现有基准测的是“答题能力”，而企业要的是“交付成果”。
微软CEO Satya Nadella曾公开吐槽：“我们自诩达到AGI里程碑，不过是基准测试作弊。”
这正是典型的“高分低能”。模型选择题全对，写代码却漏了import；推理论证严密，做方案却缺了关键信息。更严重的是，为了“刷榜”，不少模型训练时已将测试集“腌”进参数里，分数越高，离现实越远。
AI领域迫切需要一种能衡量“真实工作能力”的新标准。
那么，RLI和传统基准有何不同？
MMLU、MT-Bench和ARC Challenge都是当前评估大模型时“出场率”最高的主流基准之一，几乎所有新模型发布都会贴出这三项分数。不过，它们各自存在明显短板：
MMLU覆盖57学科，更像闭卷知识竞赛；
MT-Bench用两轮对话给分，只能反映“聊天体感”，无法衡量跨工具、跨步骤的复杂协作；
ARC Challenge聚焦抽象常识推理，与现实场景脱节。
相比之下，RLI用真实付费订单作为测试题目。模型不仅要理解任务、跨工具操作，还要交出客户愿意付钱的成果。这样的评测几乎无法“刷分”，它考验的是全流程适应力。
现实中，甲方突然要求改语气、换配图风格；客户上传的参考资料缺页、压缩包损坏；或任务中途新增“请在Notion里同步进度并生成演示稿”。这些人类面对的模糊又多变的现实，是模型能力测试中不曾出现过的。
正如AI安全研究员Dan Hendrycks所说：“没有什么比现实更复杂。AI的进步，必须以真实经济价值为衡量标准。”
那AI到底能不能独立上岗？
RLI实验结果显然说明“AI绝对自动化率几乎为零”，AI即将全面替代人类工作”的担忧暂时缺乏数据支撑。
短期内，市场还不会被“AI劳动力”淹没，但任务颗粒度变细、价格分层已在所难免。哈佛分析了500万家美国企业的招聘数据后得出，AI引入后，初级岗位招聘量平均下降7.7%，尤其集中在批发零售、行政支持等流程标准化行业。
AI的崛起正在重塑工作结构。纯执行型技能正在加速贬值，定义问题、管理流程、整合资源的能力，反而成了新的核心竞争力。
AI在考试中证明了“聪明”，而真正能在现实中“干活”的，依然是那些懂得如何让AI变成团队一部分的人。
题图来自Unsplash，基于 CC0 协议。
全部评论