GitLab macOS Runner 构建成功后卡死 27 分钟排查

背景与现象 某条 iOS 主工程的 MR 流水线,构建 job 在 Build Succeeded 之后,卡在 Cleaning up project directory and file based variables 约 27 分钟,GitLab 页面一直显示 running(14:57 构建完成,15:24 才上报 success)。编译本身只花了约 8 分钟——卡的是 job 收尾阶段,而且最终自行成功,属于「假死」而非失败。 名词解释 GitLab Runner:执行 CI job 的 agent 进程;concurrent 控制同一台机器上能并行跑几个 job。 DerivedData:Xcode 的构建中间产物目录,体积大、文件多。 CAS(Content Addressable Storage):Xcode 编译缓存,按内容寻址,默认无清理上限。 launchd:macOS 的系统服务管理器,相当于开机自启 + 定时任务(类似 cron,但睡眠错过会自动补跑)。 排查过程(逐层排除) 磁盘 / inode:盘仅 66% 使用、300G+ 可用、inode 充足 → 排除磁盘满。 日志定位卡点:日志尾部 Build Succeeded → after_script → Saving cache 全部完成,最后沉默在收尾清理段 → 卡的是 runner 清理,不是编译。 自研探针一次采齐(gitlab-runner-probe.sh):runner 配置 concurrent = 3;builds 目录 131G(DerivedData 56G + 编译缓存 49G + checkout 22G);项目 checkout 仅 2.4G / 6 万文件,清理对象本身很小;事发时 load average 16/26/25,空载后回落到 5.65 → 负载与 CI 活动强相关;swap used 1.8G → 内存曾吃紧;删除微基准:6 万小文件 rm -rf 仅 2s → 排除文件系统删除吞吐问题。 时间线对齐:该 job 的清理窗口(14:58–15:24)与同 runner 上另一个 KMP 重构建 job(14:58–15:11)完全重叠。 根因定位 直接原因:同机并发超载。 concurrent=3 下,KMP 链接等重 job 把 CPU / IO / 内存打满(load 25+、动用 swap),收尾清理这种秒级小活被拖成 27 分钟。 ...

October 19, 2026