<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Runner on Last Stand</title><link>https://amatsuzero.github.io/LastStand/tags/runner/</link><description>Recent content in Runner on Last Stand</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Mon, 19 Oct 2026 16:48:13 +0800</lastBuildDate><atom:link href="https://amatsuzero.github.io/LastStand/tags/runner/index.xml" rel="self" type="application/rss+xml"/><item><title>GitLab macOS Runner 构建成功后卡死 27 分钟排查</title><link>https://amatsuzero.github.io/LastStand/posts/ugreen-notes/gitlab-macos-runner-hang/</link><pubDate>Mon, 19 Oct 2026 16:48:13 +0800</pubDate><guid>https://amatsuzero.github.io/LastStand/posts/ugreen-notes/gitlab-macos-runner-hang/</guid><description>&lt;h2 id="背景与现象"&gt;背景与现象&lt;/h2&gt;
&lt;p&gt;某条 iOS 主工程的 MR 流水线，构建 job 在 &lt;code&gt;Build Succeeded&lt;/code&gt; 之后，卡在 &lt;code&gt;Cleaning up project directory and file based variables&lt;/code&gt; 约 27 分钟，GitLab 页面一直显示 running（14:57 构建完成，15:24 才上报 success）。编译本身只花了约 8 分钟——卡的是 job 收尾阶段，而且最终自行成功，属于「假死」而非失败。&lt;/p&gt;
&lt;h2 id="名词解释"&gt;名词解释&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;GitLab Runner&lt;/strong&gt;：执行 CI job 的 agent 进程；&lt;code&gt;concurrent&lt;/code&gt; 控制同一台机器上能并行跑几个 job。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;DerivedData&lt;/strong&gt;：Xcode 的构建中间产物目录，体积大、文件多。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;CAS（Content Addressable Storage）&lt;/strong&gt;：Xcode 编译缓存，按内容寻址，默认无清理上限。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;launchd&lt;/strong&gt;：macOS 的系统服务管理器，相当于开机自启 + 定时任务（类似 cron，但睡眠错过会自动补跑）。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="排查过程逐层排除"&gt;排查过程（逐层排除）&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;磁盘 / inode&lt;/strong&gt;：盘仅 66% 使用、300G+ 可用、inode 充足 → 排除磁盘满。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;日志定位卡点&lt;/strong&gt;：日志尾部 &lt;code&gt;Build Succeeded → after_script → Saving cache&lt;/code&gt; 全部完成，最后沉默在收尾清理段 → 卡的是 runner 清理，不是编译。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;自研探针一次采齐&lt;/strong&gt;（gitlab-runner-probe.sh）：runner 配置 &lt;code&gt;concurrent = 3&lt;/code&gt;；builds 目录 131G（DerivedData 56G + 编译缓存 49G + checkout 22G）；项目 checkout 仅 2.4G / 6 万文件，清理对象本身很小；事发时 load average 16/26/25，空载后回落到 5.65 → 负载与 CI 活动强相关；swap used 1.8G → 内存曾吃紧；删除微基准：6 万小文件 &lt;code&gt;rm -rf&lt;/code&gt; 仅 2s → 排除文件系统删除吞吐问题。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;时间线对齐&lt;/strong&gt;：该 job 的清理窗口（14:58–15:24）与同 runner 上另一个 KMP 重构建 job（14:58–15:11）完全重叠。&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="根因定位"&gt;根因定位&lt;/h2&gt;
&lt;p&gt;&lt;strong&gt;直接原因：同机并发超载。&lt;/strong&gt; &lt;code&gt;concurrent=3&lt;/code&gt; 下，KMP 链接等重 job 把 CPU / IO / 内存打满（load 25+、动用 swap），收尾清理这种秒级小活被拖成 27 分钟。&lt;/p&gt;</description></item></channel></rss>