大家最近关注的重点可能都在 MS Build 和 Google IO,不过 RedHat summit也在同时进行。
RedHat 发布了个新项目 llm-d ,云原生分布式推理项目,基于 vLLM
https://www.redhat.com/en/about/press-releases/red-hat-launches-llm-d-community-powering-distributed-gen-ai-inference-scale
RedHat 发布了个新项目 llm-d ,云原生分布式推理项目,基于 vLLM
https://www.redhat.com/en/about/press-releases/red-hat-launches-llm-d-community-powering-distributed-gen-ai-inference-scale