vLLM

资源介绍

通过批处理、缓存和内存管理等机制组织模型推理，适合需要吞吐与并发能力的服务部署。

vLLM 面向模型推理和在线服务，提供连续批处理、KV 缓存管理及多种硬件与量化支持。选择部署方案时，需要结合模型兼容性、并发、上下文长度和实际硬件做压力测试。

主要能力

• 面向服务的批处理调度
• 管理推理缓存与显存
• 支持多类模型及量化方式

如何开始

1. 01

   核对模型、硬件和软件版本的支持情况。

2. 02

   从官方快速入门启动小规模服务。

3. 03

   测试首字延迟、吞吐和峰值显存。