[ DATA_STREAM: GPU%E9%9B%86%E7%BE%A4 ]

GPU集群

SCORE
8.8

【八卦情报】16卡消费级显卡阵列:DeepSeek V4 Flash 高速推理的“暴力美学”

TIMESTAMP // 8 月.20
#DeepSeek #GPU集群 #PCIe交换机 #大模型推理 #硬件黑客

核心事件 一名硬件极客成功通过华擎 SPC621D8U 主板与双 PLX PEX88096 交换机,组建了一套包含 16 张 RTX 5060 Ti (16GB) 的高性能集群,在运行 DeepSeek V4 Flash-0731 时实现了 130-150 t/s 的惊人推理速度。 ▶ 硬件架构:利用 PLX 交换机突破了传统 CPU PCIe 通道数的限制,实现了 16 卡并行的超高密度部署。 ▶ 软件突破:通过 Aikitoria 驱动补丁和开启每张显卡 16GB 的 BAR1 空间,绕过了 NVIDIA 对消费级显卡在大规模并行环境下的软件限制。 ▶ 性能指标:130-150 t/s 的吞吐量意味着该方案在特定推理任务上已具备挑战企业级 A100/H100 集群的性价比潜力。 八卦洞察 这不仅仅是一次硬件DIY,它揭示了全球 AI 基础设施领域的一个重要趋势:“影子集群”的崛起。当 NVIDIA 通过 NVLink 和昂贵的 H 系列显卡筑起生态围墙时,开发者社区正在利用 PLX 交换机和消费级 VRAM 显卡进行“降维打击”。 DeepSeek V4 Flash 的优化与这种高带宽、多显存的硬件配置产生了极佳的化学反应。16GB 的 5060 Ti 虽然单卡算力有限,但 16 张卡构成的 256GB 总显存池,配合 PLX 带来的低延迟互联,证明了在推理端,“显存总量 + 互联带宽”的优先级正逐渐超越“单核算力”。这种“农村包围城市”的硬件策略,为中小型 AI 实验室和初创企业提供了一条绕过算力禁运和高昂租金的可行路径。 行动建议 针对企业架构师:在评估推理成本时,不应只盯着云端 H100 实例。对于 DeepSeek 等针对推理优化的模型,自建基于 PLX 交换机的消费级显卡集群在长期 TCO(总拥有成本)上具有显著优势。 针对硬件采购:关注支持大容量 BAR1 空间和 UEFI 引导的组件。RTX 5060 Ti 16GB 版本因其低功耗和高显存容量,正成为构建分布式推理节点的“神卡”。 技术储备:建议团队深入研究 Aikitoria 等第三方驱动补丁及 Linux 内核对大规模 PCIe 设备的管理,这是玩转“影子集群”的核心门槛。

SOURCE: REDDIT LOCALLLAMA // UPLINK_STABLE
SCORE
9.6

谷歌每月9.2亿美元“投喂”马斯克:算力霸权下的敌友倒置

TIMESTAMP // 6 月.06
#GPU集群 #xAI #算力基建 #谷歌 #马斯克

事件核心 据可靠消息披露,搜索巨头谷歌(Google)已与SpaceX达成一项史无前例的深度合作协议:谷歌将每月支付约9.2亿美元,以换取马斯克旗下xAI公司数据中心的算力资源。这一协议的年化价值超过110亿美元,核心目标直指xAI引以为傲的“Colossus”GPU集群。在生成式AI竞赛进入白热化的当下,谷歌此举无异于在自家TPU(张量处理单元)产能不足的情况下,向最大的竞争对手之一购买“弹药”。 技术/商业细节 此次交易的技术支点在于xAI在孟菲斯等地建立的超大规模算力中心。xAI的Colossus集群目前被认为是全球最强大的AI训练设施之一,集成了数以万计的英伟达H100及下一代H200芯片。尽管谷歌拥有自研的TPU系列芯片,但在多模态大模型(如Gemini 2.0及后续版本)的并行训练压力下,自有产能已达瓶颈。 算力缺口: 谷歌在推理端的需求激增,迫使其不得不寻求外部GPU集群来分担训练负载。 SpaceX的角色: 消息显示资金流向SpaceX,这暗示了马斯克帝国内部复杂的财务协同——利用SpaceX成熟的基础设施建设能力和电力获取优势,为xAI的重资产运营提供杠杆。 定价溢价: 每月9.2亿美元的价格远高于标准云服务市场价,反映了当前顶级H100集群的稀缺性及“即插即用”资源的战略溢价。 八卦分析:全球影响 「八卦洞察」认为,这笔交易标志着硅谷“竞合关系”进入了一个荒诞而又极其理性的新阶段。谷歌作为AI领域的黄埔军校,竟然需要向成立仅两年的xAI缴纳“算力税”,这暴露出大模型竞争的本质已从算法创新彻底转向了底层基建的暴力美学。 从全球视角看,这笔交易将产生三大深远影响:首先,它巩固了马斯克作为“算力军火商”的地位,SpaceX和xAI的交叉补贴模式将使其在基建竞赛中拥有更强的现金流。其次,这标志着英伟达生态(CUDA)在面对谷歌TPU生态时的阶段性胜利——即便强如谷歌,在追求极致模型性能时也无法摆脱对英伟达硬件集群的依赖。最后,这种巨头间的“算力拆借”预示着未来AI算力将如同原油一样,成为一种可以在顶级玩家间流动的全球大宗商品。 战略建议 对于行业观察者和从业者,我们提出以下建议: 基建为王: 算力资源的获取能力已成为大模型公司的第一生命线。企业应重新评估“轻资产”模式在AI时代的局限性。 供应链多元化: 谷歌的窘境提醒所有大厂,过度依赖单一芯片架构(如仅依赖自研TPU)在面对爆发式需求时存在巨大风险,混合架构(TPU+GPU)将成为标配。 关注“能源-算力”套利: 马斯克之所以能快速交付Colossus,核心在于其对电力和土地的极速整合能力。未来AI的竞争终点是电力竞争。

SOURCE: HACKERNEWS // UPLINK_STABLE