岩石、鹅卵石和沙子：多通道大语言模型推理的情态感知调度

Arxiv：2603.26498v3宣布类型：替换-交叉摘要：多模式大型语言模型(MLLMS)强大的平台，如ChatGPT、Gemini和Copilot，支持跨文本、图像和视频的丰富交互。与纯文本工作负载不同，多模式请求本质上是异类的，在延迟和内存占用方面存在数量级的差异。为同类文本工作负载设计的现有LLM服务系统在这种异构性下苦苦挣扎：大量图像和视频请求垄断了GPU资源，导致严重的队头阻塞，并降低了轻量级、延迟关键型文本查询的响应性。最近的多模式服务系统通过解聚、隔离跨GPU的编码和推理阶段来缓解这种干扰。虽然此类设计在大规模部署中有效，但在更实际、中等规模的部署中会导致严重的GPU利用率不足。作为回应，我们构建了RPS-Serve，该框架利用了多模式工作负载的极端异构性，并引入了一个简单的抽象：视频表现得像岩石，图像表现得像鹅卵石，文本表现得像沙子。然后，它让沙子快速流过鹅卵石和岩石，最大限度地提高GPU利用率，同时确保对轻量级请求的快速响应和对较重请求的受控执行。为了实现这一点，RPS-Serve估计每个请求的GPU准入成本，使用轻量级集群将请求分类为岩石、鹅卵石和沙子，并应用基于优先级的调度和老化来平衡不同通道的性能。对最先进的MLLMS的评估表明，与基于分解的多模式系统相比，RPS-Serve将GPU利用率提高了65%，并将TTFT在不同型号之间平均减少了9.3倍。