Llama 3.1 加载时报 rope_scaling 必须只有两个字段

加载 Llama 3.1 时，程序可能在读取配置阶段就停下来，提示 rope_scaling 必须是包含 type 和 factor 的字典。报错里的实际字典却有 low_freq_factor、high_freq_factor、original_max_position_embeddings 和 rope_type。权重还没开始推理，调整 batch size 无法解决这一步。

对于仍固定在 PyTorch 2.1.0、Transformers 4.36.0 的旧 SageMaker 集成环境，要分别检查 notebook 与 endpoint 的依赖。训练端生成的较新 RoPE 配置，可能无法被部署端的旧版本读取；这组历史环境不代表 SageMaker 当前的版本支持上限。

Transformers 4.36.0 与 4.42.4 都要求 rope_scaling 字典长度等于 2，4.43.3 已包含 llama3 的校验与计算实现，5.19.0 也保留该实现。排查重点是旧镜像或依赖限制与模型配置不兼容，不能把这种旧环境错误推广到所有新版本。

不要删掉报错里多出来的字段

把字典裁成 {"type": "linear", "factor": 8.0} 可能绕过旧校验，却改变了位置编码的含义。Llama 3.1 的高低频缩放及原始上下文长度参与计算，不能用“长度符合要求”代替“模型配置正确”。也不要把 max_position_embeddings 改小来掩盖解析失败。

在启动服务用的解释器里确认环境：

python -c "import sys, transformers; print(sys.executable); print(transformers.__version__); print(transformers.__file__)"
python -m pip show transformers

若确实落在不支持这份配置的旧版本，先复制环境和锁文件。在隔离环境中选用服务框架兼容的 Transformers 版本；例如 4.43.3 是历史兼容基线，不是当前生产环境必须固定的最新版：

python -m pip install 'transformers==4.43.3'
python -m pip check

Notebook 要重启 kernel，服务要重启实际 worker。安装输出显示更新完成，不代表已经运行的进程换了模块。vLLM、量化插件或托管镜像还可能约束 Transformers，升级前应检查它们的依赖；不要在生产容器里临时覆盖后留下无法重建的状态。

只读配置就能检查第一道关口

用已下载的本地模型目录验证，避免为了排错重新下载权重：

from transformers import AutoConfig
config = AutoConfig.from_pretrained("./model", local_files_only=True)
print(config.model_type)
print(config.rope_scaling)

AutoConfig 能读入、rope_type 仍为 llama3、原始字段未被删除，说明配置解析这一关已通过。接着才做服务启动和短输入推理，并检查长上下文业务样本。配置解析成功不能证明推理框架支持该模型，也不能证明任意长度都能装进显存。