Skip to main content

acshame

  1. https://x.com/karminski3/status/1907584079698026737?t=eSr2xV40bfzAoGBg4aAflw&s=35
    X (formerly Twitter)
    karminski-牙医 (@karminski3) on X
    KTransformers 运行 DeepSeek 性能又提升啦！

    KTransformers v0.2.4 16小时前刚刚发布！这个版本整合了SGLang一些特性，并且支持并发请求了！

    通过提高并发性，总输出吞吐量从 17 token/s 增加到了 40 token/s。并且观察到性能瓶颈已经从 CPU 内存 转移到了显卡，即，换显卡就能有更大的提升！