#AI 开发
共 48 篇文章
PyTorch 调了 model.eval()，推理为什么仍占大量显存
eval 控制部分层的训练行为，no_grad 和 inference_mode 控制求导记录。说明纯推理、后续训练和输出留存的不同边界。
LangChain 裁剪历史后，Anthropic 报缺少 tool_result
Agent 第二轮裁剪历史后，工具请求和结果可能失去配对。核对 tool_call_id、完整工具组和实际模型输入，区分 token 计数错误与消息格式错误。
Transformers 批量编码报 tokenizer does not have a padding token
批量编码时缺少 PAD 定义，区分完整 tokenizer 配置、推理中复用 EOS 和新增词表标记；核对 attention mask、模型 embedding 与保存目录。
apply_chat_template 报 chat_template is not set
apply_chat_template 找不到模板时，核对基础模型与对话 checkpoint、本地保存文件及模型角色格式。只用匹配训练格式的模板，避免重复添加特殊标记。
AutoGen 交接目标名带空格，运行时才报 Invalid name
AutoGen 0.7.5 自动生成的交接工具名含空格时，核对工具命名、目标 Agent 与参与者一致性，保留长度、重名和版本边界。
PyTorch 装好了，torch.cuda.is_available() 为什么还是 False
CUDA Toolkit 已安装，PyTorch 仍看不到 GPU。按实际解释器、CUDA 构建、驱动与设备可见性检查，并区分可用性检测与实际内核兼容。
T4 运行 vLLM 报 Bfloat16 只支持计算能力 8.0 以上的 GPU
vLLM 在 T4 上选择 BF16 后可能启动失败。按 0.6.5 的 dtype 检查区分显卡计算能力与 CUDA 版本，选择受模型和后端支持的精度。
升级 PyTorch 2.6 后，旧检查点报 Weights only load failed
torch.load 从 2.6 起在未指定 pickle_module 时默认受限加载。按检查点内容和可信程度选择 state_dict、精确允许列表或受控旧格式迁移。