微软研究院整了个活，发布了个原生 1-bit 的大语言模型 —— bitnet-b1.58-2B-4T

有啥意义吗？有的，这个模型虽然将权重量化到超低精度（实际是1.58位，权重只有{-1, 0, +1}三个值），但它在性能上几乎能与其它2B参数规模的全精度模型相媲美。

与传统模型相比，这个1-bit模型带来了惊人的效率提升：
-