性能狂飙 33%：Ornith1.5 35B 模型 MTP 模块修复，本地推理效率再突破

社区开发者通过手动拼接已训练的 MTP（Multi-Token Prediction，多 Token 预测）模块，成功修复了 Ornith1.5 35B A3B 模型的性能缺陷，在提升 3% TPS 的同时，将实际推理耗时（Wall Clock Time）大幅缩减了 33%。

• ▶ MTP 模块的“点睛之笔”： 原始发布的 Ornith1.5 存在 MTP 头未训练或损坏的问题，通过从其他量化版本中“嫁接”已训练的 MTP 权重，模型在不损失精度的前提下实现了显著的并行加速。
• ▶ 边缘计算的实战价值： 该修复使得 35B 规模的模型在业余无线电（如 HackRF、泉盛手台）等对实时性要求极高的“无头”本地化场景中，从“勉强可用”跃升为“极度流畅”。

八卦洞察

此次修复再次证明了 DeepSeek 架构中 MTP 技术的威力。MTP 本质上是推理侧的“作弊码”，它打破了传统自回归模型必须逐个生成 Token 的串行限制。对于本地 LLM 爱好者而言，这不仅仅是一个补丁，它揭示了开源模型在发布过程中可能存在的“性能遗珠”。Ornith1.5 作为基于 DeepSeek-V3/R1 逻辑演进的模型，其 A3B（Active 3B）的特性配合有效的 MTP 加速，正在模糊移动端硬件与中型参数模型之间的界限。这种“缝合怪”式的优化方式，正是开源社区去中心化创新的核心竞争力所在。

行动建议

• 开发者侧： 在集成或微调基于 DeepSeek 架构的模型时，务必检查 MTP 模块的训练状态。若官方权重存在缺陷，可尝试通过权重对齐（Weight Alignment）或跨版本拼接进行修复。
• 用户侧： 在本地运行 Ornith 或类似模型时，优先选择支持 MTP 加速的推理后端（如最新版 llama.cpp），并确认模型量化版是否包含完整的 MTP Head，以榨干硬件的最后一点带宽红利。