谁动了我的显卡?前段时间的实验里,模型的训练和评测速度在某日突然直接变慢了 30%。此外,在我的 LLM 异步强化学习实验里,还有个指标叫 token 滞后度。这个指标也慢得爆表了。
于是我暂停实验,调查了服务器,结果发现了一个挖矿病毒。
我是如何(在 LLM 的帮助下)揪出病毒的?这里我记录一下寻找病毒的过程,便于我进一步学习理解 Ubuntu 系统。以下笔记会很简明,仅方便我个人回顾学习。
石上等师兄完成了病毒的清除与归因工作。这部分涉及服务器环境,博客笔记里就不展开说明了。
本文只记录我这边是如何发现病毒的。
观察
观察到训练和评测变慢的现象后,我一开始大发雷霆,以为是 Codex 降智瞎写 kernel 拖累了我的实验。于是我 PUA Codex,反复要求它做算子优化,并继续实验。
当天晚上,一次评测直接中断了。我手动恢复后,第二天中午又中断了。到下午又中断一次。
我溯源,发现前者是 raylet 先消失,训练程序随后连接失败;后者是评分 worker 直接失联,而 verl 的调度器继续选中它派发任务,于是失败逐渐累积而崩溃。这是什么意思?具体来说,在 LLM 强化学习时,verl 是这样运行的:
1 | 实验主程序 driver |
- driver:发起组织计算的主程序。
- worker:执行工作的进程。
- actor:由 worker 进程承载的远程对象。
- raylet:Ray 在节点上的管理组件。
我服务器上为什么有 Docker?因为我的实验是代码生成任务,得给 LLM 搞个评测代码的环境,这样 RL 系统才能计算奖励。
那么按正常的思路推理,我就应该怀疑 Docker:是不是 LLM 写了个死循环或者大量申请内存,导致 worker 结束的呢?但第一次中断与评测 actor 完全无关,是 raylet 直接莫名奇妙消失。而且,第二次的中断题目是「计算两数相加」😆,LLM 一般不会在这种题目上出错。
研究第一次中断
所以我重新从第一次中断开始溯源。主程序最后显示「等待结果时连接断开」。具体来说,Python 的 traceback 异常调用栈显示:
1 | raylet 先异常消失 |
我检查 Ray 日志,里面提示「可能是 OOM 或 SIGKILL」。Linux 在无法满足内存需求时,通过 OOM killer 终止进程。我检查了内核日志(啥是内核日志?就是systemd-journald 收集的日志,用 journalctl 查看),并没有出现 OOM。
我希望能复现后一次故障,以此追查外部信号。我固定了一个输入,又固定了「计算两数相加」这道代码题目,然后对着它持续反复执行同样的 verl 评分流程。
一段时间后,此程序的监督进程收到 SIGKILL 并直接被杀。由此观之,不是答案死循环或内存问题。
SIGKILL 是什么?Linux 进程之间通过 signal 传递一些异步通知。例如:
| 信号 | 常见编号 | 作用 |
|---|---|---|
| SIGINT | 2 | 请求中断,也就是键盘敲击 Ctrl+C |
| SIGTERM | 15 | 请求终止 |
| SIGKILL | 9 | 强制终止,程序不能捕获、忽略、屏蔽 |
| SIGTSTP | 20 | 终端请求挂起,也就是键盘敲击 Ctrl+Z |
那么,到底是什么东西在给我的实验进程发送 SIGKILL 呢?我进行了内核事件追踪。
内核追踪
BPF 指 Berkeley Packet Filter,伯克利包过滤器,早期与网络数据包过滤有关。后来发展出的 eBPF 就是 extended BPF,能在内核的挂接点运行程序。bpftrace 是一种基于 eBPF 的追踪工具。
Linux 内核管理进程调度和信号。我的 Python 实验程序可能还没来得及写日志就被杀了,但信号生成必然经过内核,我们应当在内核观察。
tracepoint 是内核或程序预先设置的可观测事件点。先列出当前机器能提供的字段:
1 | sudo bpftrace -lv 'tracepoint:signal:signal_generate' |
然后编写 bpftrace 脚本:
1 | // 保存为 signal-watch.bt。 |
从结构上看,它就是:
1 | 事件 |
$1:传入脚本的第一个位置参数,这里是目标 PID。/.../:筛选条件,只关注发给目标的 9 号信号。printf:输出记录。kstack(12):采集最多 12 层内核调用栈。
注意到被杀的可能是评分 actor 创建的子进程而不是它本身。如果只监听一个最外层 PID,可能错过真正被杀的监督子进程。我通过进程创建事件,把相关子进程纳入观察集合,并在退出时维护记录。
现在启动上述脚本:
1 | sudo env TZ=UTC BPFTRACE_MAX_STRLEN=128 \ |
简明解释:
TZ=UTC:按 UTC 处理时间,方便对日志。--foreground:使用适合前台终端交互的运行方式。--signal=INT:超时先发 SIGINT,让追踪器有机会正常退出。--kill-after=3s:再过 3 秒仍未退出时,执行强制终止。900s:最长观察 15 分钟。bpftrace -q:开始运行追踪器,减少非必要输出。
我就这样启动了追踪,同时启动了我刚刚说的「计算两数相加」固定评分流程。
追踪记录
启动评分流程一段时间后,得到追踪记录如下:
1 | SIGKILL |
内核调用栈中包含:
1 | __x64_sys_kill |
- PID:Process ID,进程标识。
- TID:Thread ID,线程标识。
- PPID:Parent Process ID,父进程标识。
- UID:User ID,用户标识。
- EUID:Effective User ID,有效用户标识。
- comm:任务名。
综上所述,我们可以知道,UID 为 0 的 root 用户的一个 shell 进程,向着我的代码测评评分子进程,发送了 SIGKILL。注意到 __x64_sys_kill 等用户态 kill 系统调用路径。
在哪里
我立刻想通过 /proc 查清楚这个神秘的 root 级 sh 进程的父进程和命令行,但很遗憾它已经瞬间退出了。
在 Linux 中,/proc 是一个虚拟文件系统,可以展示运行中进程和内核状态。比方说,如果你想查看当前 Shell 进程的信息,就可以用这个查看:
1 | cat /proc/self(或者把 self 换为别的进程的 PID)/status |
然而,进程退出后,它的临时信息就不能再在 /proc 中读取,毕竟 PID 以后还可能被复用嘛。
观察系统日志
于是我改查同一时段的系统日志,看看那几秒内有没有以 root 身份启动的任务:
1 | sudo journalctl -u cron.service --utc \ |
在输出中,我看到了 cron 的两条 root 启动记录。cron 是什么?cron 是 Linux 中常见的定时任务服务,其按计划运行命令。计划表称为 crontab,包含五个时间字段:
1 | 分 时 日 月 星期 命令 |
例如,如果五个字段都是 *,那就代表每分钟触发一次。cron 会被恶意程序利用,使程序反复启动,形成持久化。
查看 cron 日志看到,root 在 SIGKILL 信号发生前约两秒启动了两个隐藏临时目录中的程序。他们的路径就这样定位到了。
确定
我再次使用代码测评进行复现,并增强了 bpftrace 的追踪,得到了更多信息:
1 | 发送者:sh |
cgroup 是 control group,控制组,按层次组织进程的资源分配。systemd 通常利用 cgroup 管理服务。注意到 cron.service,shell 位于 cron 服务的控制组中。
什么是僵尸进程?Linux 进程退出以后,在它的父进程调用 wait 读取它的退出结果之前,内核会保留一份子进程的退出记录。此时,子进程已经停止运行,但在 ps 中仍显示为 Z,子进程处于 zombie 状态。
1 | 父进程创建子进程 |
那么「命令行:查找僵尸进程,提取它们的父 PID,再强制终止父进程」是什么意思?这里的「命令行」是指 sh 进程启动时收到的参数。
从捕获到的参数前缀看,那个 sh 在寻找已经退出、但还没被回收的子进程,再去终止它们仍在运行的父进程。而这直接击中了我的评分进程。具体来说,它的行为伪代码是:
1 | 列出所有进程的状态和父进程编号 |
注意被杀的对象是僵尸的父进程。那么就可以复原出我的评分场景当时的遭遇了:
1 | 评分监督进程 P |
这个 sh 是谁?它到底为什么要到处乱杀僵尸子进程的父进程?警觉的 Codex 告诉我,挖矿程序喜欢乱杀别的进程以抢夺算力,恰好把我的评分监督进程杀掉了。于是 Codex 计算了文件的哈希:
1 | sha256sum -- ./sh |
哈希与公开 Triage 行为分析报告中的样本哈希完全相同。这是一个 XMRig 挖矿载荷,包括 cron 和 shell 杀进程行为。
此挖矿进程动了我的显卡。以上。