bitsandbytes 报 fatbinwrap

加载 bitsandbytes 时，输出出现 fatbinwrap，应检查 C++ 部分与 CUDA 部分的版本是否匹配，以及运行库搜索路径。这条诊断按当前 main 版本的排障规则说明；具体可用 wheel 与编译选项仍须对照项目安装的版本，不能假定所有历史版本都支持同样的接口。

这个现象不能仅靠 nvidia-smi 的 CUDA 版本号判断。它反映的是驱动支持能力，PyTorch wheel 的 CUDA 构建信息要从实际解释器读取：

python -m pip show torch bitsandbytes
python -m pip check

import os
import sys
import torch

print("python:", sys.executable)
print("torch:", torch.__version__)
print("CUDA build:", torch.version.cuda)
for key in ("CUDA_HOME", "LD_LIBRARY_PATH"):
    print(key, os.environ.get(key))

路径可能含用户名和内部目录，分享诊断时先脱敏，不输出整份环境变量。服务、Notebook 和交互终端若使用不同解释器，应先统一观察位置。

先排路径冲突，再考虑编译

检查上面路径是否混有不同 CUDA 的库目录，以及 conda 环境是否又提供了一份 cudart。只列出当前 conda 环境下的候选文件，可以运行：

if [ -n "$CONDA_PREFIX" ]; then
  find "$CONDA_PREFIX/lib" -maxdepth 1 -name '*cudart*' -print
fi

这只是查看候选文件，不证明进程实际选中了它。结合 bitsandbytes 的诊断输出检查：

python -m bitsandbytes

不要因为目录里有一个“更高版本”的库，就给系统库创建软链，或把多个 CUDA 目录全部追加到全局 LD_LIBRARY_PATH。版本号与 ABI 不相容时，改文件名不会改变二进制接口。

保留原环境，另外建立项目环境，按目标 bitsandbytes 版本的安装与硬件要求选择匹配的 PyTorch 和 bitsandbytes 构建。把验证过的组合写回依赖锁文件，并限制路径变化在这个项目的启动配置里。

确需源代码编译时，先确认所选源码版本、CUDA Toolkit、编译器与 GPU 架构满足要求，再从干净构建目录重新编译。路径仍混乱时直接编译，可能把冲突固化进新的二进制。

诊断命令通过后，测试实际用到的量化路径

python -m bitsandbytes 通过，不能代替业务所用的 4-bit、8-bit 或优化器路径。用同一解释器、已确定的 dtype 和很小的输入运行对应官方最小用例，确认它加载预期 CUDA 库、能完成计算，并检查输出形状及有限值。

先通过这一步，再恢复真实模型、输入长度与并发。若后续出现“不支持算子”或显存不足，按新的异常处理，不继续把它当作 fatbinwrap 的路径问题。保留原环境可以回滚，不需要删除其他项目的 CUDA 或 conda 安装。