90% 美国工时处于 AI 评测盲区：基准测试与现实生产力的巨大断裂

核心事件

Mercor Research 最新发布的劳动力指数研究显示，现有的主流 AI 基准测试（如 MMLU、HumanEval 等）仅覆盖了美国劳动力市场约 10% 的工作任务。这意味着高达 90% 的实际工作时间消耗在 AI 评测体系尚未触及的领域，揭示了实验室数据与真实经济价值之间的巨大鸿沟。

• ▶ 评测“偏科”严重： 现有的基准测试高度集中在编程、基础写作和通识问答上，而对于医疗决策、复杂物流调度及高情商管理等占据大量工时的领域覆盖极低。
• ▶ 生产力悖论： 尽管模型在 MMLU 等榜单上不断刷新高分，但由于这些测试无法模拟真实工作中的多模态交互和长程上下文处理，企业端的实际效率提升远滞后于技术指标。

八卦洞察

我们正陷入一种“基准测试陷阱”。当前的 AI 研发逻辑深受“古德哈特定律”影响：当一个指标变成目标时，它就不再是一个好指标。大模型厂商为了在排行榜上胜出，过度优化了那些容易被量化的逻辑和知识任务，却忽略了现实世界中 90% 的“脏活累活”——那些需要处理模糊指令、跨部门协作和物理环境感知的复杂任务。这种断裂导致了 AGI 幻觉：模型看起来无所不知，但在处理一个真实的初级助理工作时却频频翻车。真正的产业革命不会发生在 MMLU 达到 90 分的那一刻，而发生在 AI 能够有效切入那 90% 被遗忘的工时之时。

行动建议

企业不应再盲目追求模型在公开榜单上的排名，而应建立“业务特有评测集”（Proprietary Evals），将内部真实的 SOP 和历史工单转化为测试用例。对于开发者而言，未来的机会不在于复刻通用模型，而在于开发能够处理“非标任务”的 Agent 架构，重点攻克 RAG 与复杂工作流的深度集成，填补那 90% 的价值空白。