突破1比特极限：三星LittleBit框架开启亚比特大模型压缩新纪元

三星实验室（Samsung Labs）近日发布了名为“LittleBit”的亚1比特（Sub-1-Bit）大语言模型压缩框架，通过创新的潜在分解（Latent Factorization）技术，成功在极低比特率下保持了模型性能，为超大规模模型在边缘侧的部署扫清了障碍。

• ▶ 核心机制：LittleBit 摒弃了传统的标量量化思路，将权重矩阵分解为一个高精度的低秩分量和一个极低精度的潜在分量，实现了对模型权重的结构化重构。
• ▶ 性能表现：实验数据显示，该方法在比特率降至 1 比特以下时，其困惑度（Perplexity）表现显著优于 BitNet 和 QuIP# 等当前最先进的量化方案。
• ▶ 端侧革命：该技术使得 70B 规模的模型有望在显存受限的消费级设备甚至移动端流畅运行，极大地提升了端侧 AI 的参数天花板。

八卦洞察

长期以来，1比特被认为是模型量化的“物理极限”，因为简单的舍入误差在极低比特下会呈指数级放大。LittleBit 的高明之处在于它不再纠结于单个权重的精度，而是将权重视为一种可以被分解的信号。这种“高精度骨架 + 低精度细节”的混合策略，实际上是在利用神经网络权重的冗余性进行深度信息压缩。这标志着模型压缩技术正从“数值截断”转向“语义重构”。对于三星而言，这项技术是其 Galaxy AI 生态的关键拼图，旨在通过算法红利抵消移动端硬件在内存带宽上的物理短板，从而在端侧 AI 的军备竞赛中占据定义权。

行动建议

• 硬件厂商：应重点关注针对混合精度（Hybrid Precision）推理的内核优化，特别是如何高效处理低秩矩阵与潜在矩阵的并行乘法运算。
• 算法工程师：建议跟踪 LittleBit 在 Hugging Face 或 llama.cpp 社区的集成进度，评估其在特定垂直领域模型（如医疗、法律）上的泛化能力。
• 产品负责人：重新评估 70B 及以上参数模型在移动端/PC端的商用可行性，亚1比特技术可能让原先必须依赖云端的复杂任务实现本地化。