一个看起来很简单的问题

起因很朴素:把某在线教育类 App「我的课程」里的媒体导出成离线文件,方便无网时收听。手机是未越狱的 iPhone,通过 USB 连着 Mac。

在未越狱 iOS 上,有一条边界必须先接受:USB 是「看得见 IP」的通道,不是「看得见 API」的通道。Apple 的远程虚拟接口(RVI)机制能在 Mac 上虚拟出一块网卡,配合 tcpdump 录到原始包;但 TLS 之后只剩密文,看得到域名和 IP,看不到路径、请求体与响应。想读明文,只有一条路——让手机作为 Wi-Fi 客户端,把流量交给一个装了根证书、且已开启「完全信任」的 HTTP 代理。

于是整个任务被翻译成三件事:把流量引到代理、把明文可靠地记录下来、从记录里找出课程与媒体的地址。听起来不过半天的活。真正走下来,大半时间却花在推翻自己下的否定结论上。

本文涉及第三方 App 与在线服务,域名、接口路径、凭据、课程名均已脱敏或改为功能性描述;仅讨论方法,不对任何服务作安全性评价。

第一回合:Charles 不是抓不到,是「不能被自动判读」

本机原本就装了 Charles。它完全称职:能起代理、能解密 HTTPS、能看明文请求与响应。第一次连通性验证也是靠它跑通的——手机按官方说明填好代理、Safari 打开一个 http 页面,代理里出现了完整的 Request/Response。

问题不在能力,在输出形态。Charles 抓到的内容只活在自己的 GUI 和 Session 文件里。要让另一个人或自动化脚本判读,需手动 File → Save Session As… 导出一次。每验证一轮就多一道人工搬运,而这次的判读需要反复迭代:换个关键词、补个字段、重录一次、再比一遍。工具在这里从助手变成了瓶颈。

于是换掉它,选型的判据也随之改变:诊断工具的第一指标不是「能不能抓」,而是「输出能不能被机器直接读」。换成 mitmdump(mitmproxy 的命令行前端,用 uvx 临时运行,不写进项目依赖)加一个十几行的 addon,在 response 钩子里把每条请求的 URL、头、状态、请求体、响应体实时写成 JSONL 落盘:

class JsonlDump:
    def response(self, flow):
        rec = {
            "method": flow.request.method,
            "url": flow.request.pretty_url,
            "status": flow.response.status_code,
            "req_headers": dict(flow.request.headers),
            "req_body": as_text(flow.request),
            "body": as_text(flow.response),
        }
        # 落盘:纯 ASCII + 单次原子追加(原因见第三回合)
        write_atomic(json.dumps(rec, ensure_ascii=True) + "\n")

addons = [JsonlDump()]

一个后台常驻进程、一个不断追加的本地文件,判读者可以随时读、随时重读,用户侧只保留必须由人做的部分(装证书、点开页面、授权弹窗)。这一步后来被证明是整条链路里最有价值的决定之一:别把人工搬运留在诊断回路里。

第二回合:前提没验,设计就是空中楼阁

工具选完,本该直接开录。但一条插进来的提醒让节奏停了下来:先确认 Mac 连的是哪个 Wi-Fi、工具是否真的可用。查完才发现,凭直觉写好的方案有两处根基是假的。

  • 假阴性:networksetup -getairportnetwork 返回「未关联」,看起来像没连 Wi-Fi;ipconfig getsummary 和 system_profiler 却显示链路正常、DHCP 已绑定。单条命令的结论不能当事实,需交叉验证。
  • 双网卡:Wi-Fi 和 USB 有线各在一个网段,而默认路由走有线。给手机填的代理地址必须是 Wi-Fi 侧那个 IP,不是默认路由网卡的地址——localhost 更不行,它由手机自己解析,指向手机本身。
  • 企业网是 WPA2-Enterprise,需要 802.1X 账号密码,手机无法接入;访客网又普遍开客户端隔离,两端互相看不见。最后两端一起切到普通 WPA2-Personal 网络才通。
  • 切网之后地址变了,系统代理还被 Charles 的 macOS Proxy 悄悄打开,本机 App 的流量灌进代理,把 Session 污染了一遍。
前提第一次实测切网后
Wi-Fi 连接状态命令误报未关联,实际已连仍连着,换了网络
代理应填地址企业网段 Wi-Fi 侧 IP新网段 Wi-Fi 侧 IP(变了)
默认路由USB 有线网卡仍是 USB 有线网卡
系统代理全关被 GUI 工具打开,需关回

结论比这些具体值更重要:前提不是验一次就永久有效的。切网、起停工具、改过配置,任何一次环境变化都要求重查,不能沿用上一轮的实测结果。后面所有「没抓到」的判断,都以这张表是新的为前提。

第三回合:自己造的数据管道也会骗人

第一版 addon 用最自然的方式写文件:每条记录 open(path, "a") 追加一行 JSON。首轮录制 95 行,只有 48 行能解析——半行、多条拼接、空行,甚至有一行 12525 字符。

第一反应是并发。加了 threading.Lock(),又给每条记录加了自增 seq,并发冒烟看起来通过,正式录制仍然坏掉一半。恰恰是 seq 不连续,让「其实没修好」自己暴露出来——如果只靠肉眼抽样,很可能就带着这份半坏的数据继续判读了。

真正的根因不是并发,是编码:响应体里有二进制、压缩内容解码出的非法 Unicode,json.dumps(..., ensure_ascii=False) 产出的字符串在文本模式下写入时编码中断,留下半行;后面的记录接上去,整段就全乱了。最终改成纯 ASCII 字节加单次系统调用:

data = (json.dumps(rec, ensure_ascii=True) + "\n").encode("ascii")
fd = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_APPEND, 0o600)
os.write(fd, data)   # 单次 O_APPEND 写入是原子的
os.close(fd)

验收也定了三条硬指标:并发负载、全行可解析、seq 相邻差恒为 1。注意最后一条——校验要看「相邻差」,不是「从 1 开始」:清空文件却没重启进程时,内存计数器会沿用,起点为 24 的连续序列依然是完整数据,按 range(1, n+1) 校验会误报。

这一段留下的经验是:自采数据管道必须先在源头修好并验收,再拿它做判断;「容错解析跳过坏行」是最坏的选择,因为坏数据会直接诱发错误的否定结论。而 seq 这类可观测字段的价值,不只是方便排查,更是用来证伪「已经修好了」。

第四回合:一连串「没有」,以及它们怎么被推翻

这是全程最值得复盘的部分。四次下过「没有 / 抓不到」的判断,四次都被推翻,而且每次推翻的原因都不是「再仔细一点」,而是证据面本身不够。

其一,窄关键词扫在损坏数据上。 用 m3u8、mp4、course 去搜那份一半坏掉的 JSONL,全部 0 命中,于是断言「业务请求根本没发出来、App 绕过了代理」。真相是媒体请求一直都在,只是被写坏的行吞掉了;而且它走的是云 VOD 直链 + 206 Partial Content(Range),路径里根本不带那些扩展名。救场的是第二条独立通道——代理后台 stdout 里的 server connect <域名> 和状态行。关键词白名单不等于全集,损坏数据上的零命中不是证据。

其二,把噪声当成信号。 日志里几十次 Client TLS handshake failed 很像证书绑定,逐个核对后发现几乎全是 iOS 系统服务(推送、iCloud 网关)——它们不信任代理 CA 是正常行为,与目标 App 无关。只有一次落在 App 自有域上,也只是局部现象。差点据此把整个方案判死刑。

其三,转义陷阱。 为了修好管道用了 ensure_ascii=True,于是中文在 JSONL 里以 \uXXXX 形式存在。在原始文件里直接 grep 中文课程名,必然 0 命中;必须逐条 json.loads 还原后再搜 body / req_body / url。同一个修复引入了新的判读前提。

其四,「所有请求都检查了吗」。 答案是没有。仪器只覆盖「走系统 HTTP 代理 + TLS 握手成功 + 有响应」的请求,三类盲区看不见:

盲区原因
握手失败的连接addon 只挂 response 钩子,无响应就不落盘
绕过代理的流量自研网络栈、直连 TCP、QUIC over UDP:443 根本不连代理端口
非 HTTP 协议例如 DNS-over-TLS 的 853 端口

顺着这条线还做了四层排查(响应体明文、请求体、base64/gzip 编码层、埋点定向解析)和五个「疑似列表接口」候选的逐个排除,得出过「部分可行、批量不可行」的中间结论。后来整条都被推翻了——不是排查得不够细,而是排查一直发生在同一个够不到目标流量的通道里。

一句话概括:否定结论是强度最高的断言,必须配最完整的证据面;而证据面的边界由采集通道决定,不由关键词决定。下「不存在」之前,先问一句「这类流量经过我的仪器吗」。

转折:换维度,而不是重跑旧分析

一句笼统的「再分析一下」通常是重跑旧流程的邀请,这次改成列一张还没用过的维度清单:User-Agent 分组、媒体请求的 Referer、响应 Server 头、鉴权头分布、以播放 206 为锚点的时间线。收获比此前所有关键词搜索加起来都大。

  • 媒体直链的 Referer 统一指向 App 自有的业务域名,Mac 直连返回 200,但它在代理日志里出现 0 次——业务域名就这样被反推出来了。
  • UA 分组显示这是混合栈:一边是原生 NSURLSession / CFNetwork 的 UA,一边是 Flutter 侧的 sentry.cocoa.flutter。Dart 的 HttpClient 默认按环境变量解析代理、并不读取 iOS 的系统 HTTP 代理设置;原生 NSURLSession 会读。于是「课程列表抓不到、媒体直链抓得到」有了自洽的解释:业务 API 走的那一层天然绕过手动代理,播放器用的是原生栈。
  • 以播放时刻为锚点前后 20 秒的时间线里,业务 API 一次都没出现——不是发生在录制窗口外,是根本没经过代理。

这里要如实标注置信度:UA 只能证明 App 集成了 Flutter 模块,不能证明业务 API 一定由 Dart 层发出(原生层显式禁代理、自研栈同样能解释)。这是最贴合证据的解释,不是定论。把推断写成「已证实」,后面就要多付一轮纠偏的代价。

真正的解法是换采集通道,而不是继续加关键词或解更多编码层。用单进程同时跑两种模式:

mitmdump --mode regular --mode wireguard \
  --set confdir=<已装 CA 的目录> \
  --listen-host 0.0.0.0 --listen-port 8888 -s addon.py

regular 是原来的 TCP 代理,wireguard 是 WireGuard UDP 隧道,手机装客户端扫码连入后全部 IP 流量进入代理。这条路免 root(pfctl 在普通用户下 Permission denied,透明代理 / DNS 劫持要 sudo,代价更高);复用已装好的 CA(手机不用重装证书);而且单进程写同一份 JSONL,避开了并发写坏数据的老问题。两处小坑:生成的客户端配置里 Endpoint = 0.0.0.0 无效,必须换成 Mac 的局域网 IP;启用隧道前要把 Wi-Fi 的手动代理关掉,否则两者抢流量。二维码用 segno 本地生成,密钥只留本机。

结果是一次翻盘:业务域名出现 45 次、26 个唯一接口全部 200 + 明文 JSON,课程列表、章节树、VOD 域名配置都在;此前四层排查始终找不到的课程文案,在列表接口里一次命中。「没有列表接口」从来不是加密,也不是纯本地缓存,只是采集通道够不到那部分流量。顺带排除了另一个担心:App 信任了已装的系统根证书,没有发生自带证书库的绑定,云 WAF 也没拦 TLS/SNI。

收官:从「能抓」到「能下」

拿到明文之后,剩下的反而是最平顺的一段。代理里抓到的鉴权头可以从 Mac 直接重放(签名不校验时间戳),不必再在手机上点任何东西;凭据只在内存与本地临时文件里流转。列表接口一次返回全部课程,无需翻页。

但「一次返回全部」这个判断又差点成为新的局部结论。抓包里那一次请求带的是某个界面下的参数组合,而分类参数是有取值空间的:

分类参数结果
A 组 + 未过期视频课,83 个 MP4
A 组 + 已过期接口直接拒绝,无资源
B 组 + 未过期5 门音频课,49 个 MP3
其它取值空或报错

枚举参数的取值空间,比复刻单次抓包请求可靠得多。这里也纠正了一个把局部观察固化成绝对规则的偏差:有人看过 5 门音频课后说「应该就只有音频」,那是他当时所见范围的正确结论,不是全量事实;一句「是不是应该还有视频、不要只下音频」把整门视频课捞了回来。产品判断的裁定权在人,但「全量事实」仍然要用证据说话。

媒体地址是相对路径、没有签名参数,须拼上 VOD 域名,并且必须带抓到的 Referer 防盗链头:不带 403,带则 206。下载用 curl 按课程分目录存放,配并发与有限重试,先写 .part 临时文件、成功后再改名,最后逐个用 ffprobe 验收。132 个文件、两类媒体、约 3.5 GiB,0 失败、无残留。

复盘:值得留下的几条

  1. 否定结论前,先确认采集通道覆盖了那类流量。 「没有 X」的最高风险不在 X,而在仪器根本看不见 X。换通道往往比在同一通道里反复加字段、加关键词、解编码层有效得多。
  2. 下结论前先验前提,且环境一变就重查。 网络拓扑、工具可用性、自采数据的完整性,都是会漂移的前提;单条命令的假阴性足以让整份设计建在沙上。
  3. 诊断工具看「输出是否机器可读」。 GUI 工具若要求人工导出才能被判读,就会在协作回路里变成瓶颈。优先选能后台常驻、把结构化结果落盘的方案。
  4. 自采管道要源头修,并补上能证伪自己的可观测性。 一个递增序号、一条完整性校验,价值不在排查方便,而在让「其实没修好」立刻显形;别用容错跳过坏行绕过。
  5. 说「再分析一下」时,列新维度,别重跑旧分析。 UA、Referer、响应头、时间线这些没看过的角度,往往比把 host 扫描再跑一遍更有产出。
  6. 单次采样 ≠ 全集。 分类 / 枚举型参数要主动探测取值空间;抓包里看到的请求只是某个界面下的一种调用。
  7. 把「最贴合证据的解释」和「已被证实」分开写。 推断要 hedge,文档里过强的措辞迟早要花一轮改回来。
  8. 别人基于局部观察给的结论,按当前所见范围采信,别升级成全局规则。 一旦出现「是不是应该还有 X」这类反问,先怀疑自己的枚举口径,而不是重复结论。

边界

  • 只针对自己有权访问的内容做离线归档,不绕过付费或授权、不分发;文中不含任何凭据值。
  • 域名、接口路径、课程名均为化名或功能性描述;技术机制与命令行做了泛化,不构成针对具体服务的操作手册。
  • Flutter 归因仍是推断(UA 只证明集成了该模块),未做原始包交叉验证;QUIC over UDP 与非 HTTP 流量不在本次采集范围内。
  • 已过期课程由接口明确拒绝,未纳入下载。