fsspec HTTP 流逐行读取报 Cannot seek streaming HTTP file

HTTP 文件能成功打开，直接读字节也正常，一调用 readline() 或用 for line in stream 却报 ValueError: Cannot seek streaming HTTP file。如果句柄是 HTTPStreamFile，错误可能出在逐行接口的回退动作，和服务器是否能返回响应是两件事。

fsspec 2026.9.0 的异步 HTTP 后端同步包装与 Requests 后端都有这条路径：继承的 readline() 调用 readuntil()，后者读到换行后尝试向后定位，把本次多读的字节留给下一行；顺序 HTTP 流不支持这种 seek。block_size=0 会选流式读取，未知长度的响应也可能进入流式实现。

小型响应可以有界读完，再在内存中分行

下面仅适用于允许在内存保存的小型二进制响应，8 MiB 是示例预算。地址应换成自己获准读取的资源，认证和超时沿用项目已有设置：

import fsspec

url = "https://files.example/data.txt"
limit = 8 * 1024 * 1024
chunks = []
received = 0
with fsspec.open(url, mode="rb", block_size=0) as stream:
    while True:
        chunk = stream.read(min(65536, limit - received + 1))
        if not chunk:
            break
        received += len(chunk)
        if received > limit:
            raise ValueError("response exceeds the configured byte budget")
        chunks.append(chunk)

payload = b"".join(chunks)
lines = payload.splitlines(keepends=True)

这里循环读到 EOF，不假定一次 read(n) 总能填满 n 字节，也不调用流的 seek。超过预算就停止，不把已收的一部分当作完整文件继续解析。字节和列表仍会占用额外内存，预算应给拼接和下游解析留出空间。

splitlines(keepends=True) 使用字节串的分行规则，并保留识别到的行终止符；真实协议如果只把 LF 当分隔符，应按自己的规则处理。文本解码在完整字节或合适的增量解码层进行，不能把跨块的多字节字符分别强行解码。

readlines 成功不等于仍在按行流式处理

当前 readlines() 会先读取整个流再拆行，因此它可能避开这次 seek，却带来无界内存占用。大型或持续响应应采用真正支持顺序消费的分帧或逐行解析器，并明确最大行长、超时和结束条件，不能简单把 readline() 全部换成 readlines()。

只有服务端支持所需范围读取、文件大小可用且实际句柄可定位时，才考虑走随机访问读取。增大 block size 本身不保证获得可定位文件，也不必修改 HTTP 响应内容来掩盖客户端接口的问题。

保留完整异常栈和实际后端，分别核对单行、多行、没有末尾换行、跨块行、空响应及超预算响应。检查返回字节是否完整、行边界是否符合协议，以及异常时响应是否关闭。本问题不使用 read(None)，也不能把其他关闭文件或服务端 Range 错误都归到同一个 seek 分支。