性能超越 GPT-4o：Castform 如何利用 Neon 数据库将检索成本降低 100 倍

核心事件

Castform 通过将复杂的检索逻辑从大模型（LLM）推理层下沉至 Neon 的 Serverless Postgres 数据库层，在特定 RAG（检索增强生成）任务中实现了超越顶级闭源模型（如 GPT-4o）的精度，同时将运营成本降低了两个数量级。

• ▶ 架构范式转移： 从“LLM 中心化”转向“数据中心化”，利用 pgvector 和数据库原生逻辑替代昂贵的长上下文推理。
• ▶ 极致效能比： 通过组合使用小模型（SLM）与高度优化的向量数据库查询，Castform 在处理大规模数据集时实现了 100 倍的成本削减。

八卦洞察

当前 AI 行业的“军备竞赛”正陷入一个误区：盲目追求超长上下文（Context Window）。虽然 OpenAI 和 Anthropic 不断推高 Token 上限，但 Castform 的案例证明了工程化检索（Retrieval Engineering）在垂直领域具备降维打击的能力。这种“以库代模”的思路，本质上是重申了数据库在 AI 栈中的核心地位。Neon 提供的 Serverless 特性让开发者能以极低门槛调用 pgvector，这种架构不仅解决了 LLM 的幻觉问题，更通过减少对闭源 API 的依赖，为企业构建了极高的成本护城河。在推理成本依然高企的今天，能够玩转“数据库逻辑”的团队，比单纯调用 API 的团队更有生存韧性。

行动建议

企业应停止盲目追求“全量数据丢进上下文”的暴力方案，转而投资基于 Postgres/pgvector 的混合搜索架构。建议技术团队优先优化 Embedding 质量与数据库索引策略，而非单纯升级 LLM 版本。对于高频检索场景，应考虑将部分推理逻辑迁移至数据库端执行，以实现性能与成本的平衡。