KTransformers 运行 DeepSeek 性能又提升啦！

KTransformers v0.2.4 16小时前刚刚发布！这个版本整合了SGLang一些特性，并且支持并发请求了！

通过提高并发性，总输出吞吐量从 17 token/s 增加到了 40 token/s。并且观察到性能瓶颈已经从 CPU 内存 转移到了显卡，即，换显卡就能有更大的提升！