Skip to main content

acshame

acshame
acshame

  1. https://x.com/karminski3/status/1912287572065415582?t=4kgi73oZCfIWD3KOiLAkJA&s=35
    X (formerly Twitter)
    karminski-牙医 (@karminski3) on X
    微软研究院整了个活，发布了个原生 1-bit 的大语言模型 —— bitnet-b1.58-2B-4T

    有啥意义吗？有的，这个模型虽然将权重量化到超低精度（实际是1.58位，权重只有{-1, 0, +1}三个值），但它在性能上几乎能与其它2B参数规模的全精度模型相媲美。

    与传统模型相比，这个1-bit模型带来了惊人的效率提升：
    -

  14. 终于把 DeepSeek 这个系列的 DeepSeek V2 里的 MLA 写完了，我之前以为这个是最难理解的，因为涉及到一些纯线性代数的推导。不过回过头来看其实里面数学的难度不大，但这个过程却十分精彩，有时候我都觉得这里面有剧本。DeepSeek 系列的论文我其实已经都扫过一遍了，但最喜欢的还是 V2 这篇论文。

    https://oilbeater.com/2025/04/14/deepseek-mla/
    Oilbeater 的自习室
    DeepSeek MLA -- 为成本优化而生的注意力机制 | Oilbeater 的自习室

  17. https://x.com/karminski3/status/1911791924648051034?t=1q4YAbuzn2EiMS8zfGIgJA&s=35
    X (formerly Twitter)
    karminski-牙医 (@karminski3) on X
    速报——智谱好像要发 GLM4

    看上去模型大小分32B和9B，然后不同参数量大小还有衍生模型，比如 GLM-4-32B-0414 是基座模型，GLM-4-32B-Chat-0414 是 Chat 模型，GLM-Z1-32B-0414 是思考模型，GLM-4-Z1-Rumination-32B-0414 （Rumination 反刍/沉思？不知道是不是前几天那个沉思），GLM-4V-9B