智能体负载为何需要会话视角
一次智能体任务可能包含多轮模型请求和工具等待。工具运行时，上下文仍占用 KV 缓存；并发任务增多后，反复驱逐和重新预填充会增加开销。仅对单个请求选择缓存命中较多的节点，无法充分描述整个会话的资源占用。
会话标识连接哪些信息
Dynamo 使用稳定的 session_id 关联一条推理与工具调用轨迹，并可通过 parent_session_id 连接子任务。文章讨论了会话追踪与回放、准入控制，以及跨存储层的缓存可见性。相关机制按需启用，不要求把所有工作负载统一改造成同一种智能体框架。
结果与实现阶段
在文中使用单个 8×H100 节点、两个 TP4 MiniMax-M2 副本的 SWE-bench 配置中，会话感知调度相较单纯 KV 路由提高约 12%–16% 吞吐。该结果对应特定硬件、模型与负载。共享缓存索引仍属实验性功能，KvHint 的部分能力处于提议或开发阶段。技术原文
工程阅读提示
编辑说明：部署时应区分会话路由、缓存管理机制与尚在演进的接口。评估指标也应同时包含并发、缓存命中、首字延迟和任务完成时间；单个吞吐数字不足以说明交互体验。先使用可回放的实际负载建立基线，再比较调度策略，更便于识别收益来源。