768GB 显存成本低于单块 RTX 6000：揭秘“拼凑版”AI 工作站的性价比极限

核心事件：一位硬件发烧友通过 12 块 CMP 170HX 矿卡组建了拥有 768GB 显存的推理集群，以低于单块 RTX 6000 Pro 的成本实现了超大规模模型（如 Llama 3 405B）的本地运行。

• ▶ 大模型推理的“去贵族化”： 该配置证明了通过二手特种芯片（如 CMP 系列）绕过英伟达企业级显卡高额溢价的可行性，打破了超大模型必须依赖 H100 集群的迷思。
• ▶ 显存容量 vs. 推理速度： 尽管 5 tk/s 的速度在生产环境难以接受，但对于模型验证、长文本 RAG 或离线批处理任务，显存容量的优先级远高于计算吞吐量。
• ▶ HBM2e 显存的二次价值： CMP 170HX 虽在算力上被阉割，但其搭载的 64GB HBM2e 高速显存成为本地化 AI 研发的“平替”金矿。

八卦洞察

在 AI 算力竞赛中，市场往往陷入“算力焦虑”，盲目追求最高规格的计算卡。然而，本案例揭示了当前 AI 硬件市场的“显存鸿沟”：企业级显卡（如 A100/H100/RTX 6000）的定价模型包含了极高的算力溢价。对于许多初创公司或独立开发者而言，核心痛点往往不是“算得不够快”，而是“模型装不下”。

这种由 12 块 CMP 170HX 组成的“拼凑版”系统，本质上是对英伟达产品线的一种“降维打击”。它利用了加密货币退潮后留下的特殊硅片遗产，将原本用于挖矿的 HBM2e 显存重新导向至 AI 推理。这种“影子基础设施”的存在，为那些预算有限但需要处理 400B 以上参数规模模型的团队提供了一条极具吸引力的生存路径。虽然 5 tk/s 被嘲讽为“阅读速度”，但在 R&D 阶段，这种低成本的“能跑通”远比“跑得快”更具战略意义。

行动建议

• 针对初创团队： 在模型微调验证或复杂 RAG 架构测试阶段，应优先考虑显存密度而非峰值算力。通过多卡串联构建高显存节点，可大幅降低研发初期的云端算力支出。
• 硬件采购策略： 关注非传统渠道的特种计算卡（如 CMP 系列、Tesla P40 等），但在部署时需解决散热（被动散热转主动）和 PCIe 通道分配的工程化难题。
• 软件栈优化： 在此类低带宽、高显存的异构系统上，应重点优化模型切分（Sharding）和流水线并行策略，以弥补单卡计算能力的不足。