#vLLM
共 2 篇文章
vLLM 启动报最大模型长度超过 KV cache 容量
权重已经放进显存，vLLM 仍可能没有足够的 KV cache。核对启动日志中的容量、实际上下文需求和 prefill 配置，再调整模型长度与显存预算。
T4 运行 vLLM 报 Bfloat16 只支持计算能力 8.0 以上的 GPU
vLLM 在 T4 上选择 BF16 后可能启动失败。按 0.6.5 的 dtype 检查区分显卡计算能力与 CUDA 版本，选择受模型和后端支持的精度。
共 2 篇文章
权重已经放进显存，vLLM 仍可能没有足够的 KV cache。核对启动日志中的容量、实际上下文需求和 prefill 配置，再调整模型长度与显存预算。
vLLM 在 T4 上选择 BF16 后可能启动失败。按 0.6.5 的 dtype 检查区分显卡计算能力与 CUDA 版本，选择受模型和后端支持的精度。