#Transformers
共 5 篇文章
Transformers 的 generate 结果为什么包含输入提示词
decoder-only 的 generate 返回输入加新增 token。按实际 input_ids 张量宽度裁剪，区分左补齐批次、结构化返回、pipeline 与 encoder-decoder。
开了梯度检查点，为什么 Transformers 把 use_cache 关了
区分训练时的激活重算与生成时的 KV cache。按模型实现关闭训练缓存，推理前检查生成配置与梯度模式，不把兼容性警告当训练失败。
Trainer 组批报 expected sequence of length，padding 为什么没生效
Trainer 组批时报张量长度不同，检查实际 collator 与输入、标签列。区分分类、token classification、seq2seq 和语言模型的补齐及损失掩码。
Transformers 批量编码报 tokenizer does not have a padding token
批量编码时缺少 PAD 定义，区分完整 tokenizer 配置、推理中复用 EOS 和新增词表标记；核对 attention mask、模型 embedding 与保存目录。
apply_chat_template 报 chat_template is not set
apply_chat_template 找不到模板时，核对基础模型与对话 checkpoint、本地保存文件及模型角色格式。只用匹配训练格式的模板，避免重复添加特殊标记。