0%

谁动了我的显卡?

谁动了我的显卡?前段时间的实验里,模型的训练和评测速度在某日突然直接变慢了 30%。此外,在我的 LLM 异步强化学习实验里,还有个指标叫 token 滞后度。这个指标也慢得爆表了。

于是我暂停实验,调查了服务器,结果发现了一个挖矿病毒。

我是如何(在 LLM 的帮助下)揪出病毒的?这里我记录一下寻找病毒的过程,便于我进一步学习理解 Ubuntu 系统。以下笔记会很简明,仅方便我个人回顾学习。

石上等师兄完成了病毒的清除与归因工作。这部分涉及服务器环境,博客笔记里就不展开说明了。

本文只记录我这边是如何发现病毒的。


观察

观察到训练和评测变慢的现象后,我一开始大发雷霆,以为是 Codex 降智瞎写 kernel 拖累了我的实验。于是我 PUA Codex,反复要求它做算子优化,并继续实验。

当天晚上,一次评测直接中断了。我手动恢复后,第二天中午又中断了。到下午又中断一次。

我溯源,发现前者是 raylet 先消失,训练程序随后连接失败;后者是评分 worker 直接失联,而 verl 的调度器继续选中它派发任务,于是失败逐渐累积而崩溃。这是什么意思?具体来说,在 LLM 强化学习时,verl 是这样运行的:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
实验主程序 driver
│ 提交任务、等待结果
▼
Ray 系统
├── raylet:管理节点上的任务、资源和 worker
├── 训练或生成 worker
└── 评分 actor
│
▼
评分监督子进程
│ 启动容器、收集输出、交回结果
▼
Docker 评分容器
└── 待评测的程序
  • driver:发起组织计算的主程序。
  • worker:执行工作的进程。
  • actor:由 worker 进程承载的远程对象。
  • raylet:Ray 在节点上的管理组件。

我服务器上为什么有 Docker?因为我的实验是代码生成任务,得给 LLM 搞个评测代码的环境,这样 RL 系统才能计算奖励。

那么按正常的思路推理,我就应该怀疑 Docker:是不是 LLM 写了个死循环或者大量申请内存,导致 worker 结束的呢?但第一次中断与评测 actor 完全无关,是 raylet 直接莫名奇妙消失。而且,第二次的中断题目是「计算两数相加」😆,LLM 一般不会在这种题目上出错。


研究第一次中断

所以我重新从第一次中断开始溯源。主程序最后显示「等待结果时连接断开」。具体来说,Python 的 traceback 异常调用栈显示:

1
2
3
4
5
6
7
8
9
raylet 先异常消失
↓
其他进程与它的连接断开
↓
等待结果的主程序收到异常
↓
实验退出
↓
服务管理器尝试清理遗留进程

我检查 Ray 日志,里面提示「可能是 OOM 或 SIGKILL」。Linux 在无法满足内存需求时,通过 OOM killer 终止进程。我检查了内核日志(啥是内核日志?就是systemd-journald 收集的日志,用 journalctl 查看),并没有出现 OOM。

我希望能复现后一次故障,以此追查外部信号。我固定了一个输入,又固定了「计算两数相加」这道代码题目,然后对着它持续反复执行同样的 verl 评分流程。

一段时间后,此程序的监督进程收到 SIGKILL 并直接被杀。由此观之,不是答案死循环或内存问题。

SIGKILL 是什么?Linux 进程之间通过 signal 传递一些异步通知。例如:

信号 常见编号 作用
SIGINT 2 请求中断,也就是键盘敲击 Ctrl+C
SIGTERM 15 请求终止
SIGKILL 9 强制终止,程序不能捕获、忽略、屏蔽
SIGTSTP 20 终端请求挂起,也就是键盘敲击 Ctrl+Z

那么,到底是什么东西在给我的实验进程发送 SIGKILL 呢?我进行了内核事件追踪。


内核追踪

BPF 指 Berkeley Packet Filter,伯克利包过滤器,早期与网络数据包过滤有关。后来发展出的 eBPF 就是 extended BPF,能在内核的挂接点运行程序。bpftrace 是一种基于 eBPF 的追踪工具。

Linux 内核管理进程调度和信号。我的 Python 实验程序可能还没来得及写日志就被杀了,但信号生成必然经过内核,我们应当在内核观察。

tracepoint 是内核或程序预先设置的可观测事件点。先列出当前机器能提供的字段:

1
sudo bpftrace -lv 'tracepoint:signal:signal_generate'

然后编写 bpftrace 脚本:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// 保存为 signal-watch.bt。

BEGIN
{
printf("READY target=%d\n", $1);
}

tracepoint:signal:signal_generate
/args->sig == 9 && args->pid == (uint32)$1/
{
time("%Y-%m-%dT%H:%M:%SZ ");
printf("context_pid=%d tid=%d uid=%d comm=%s target=%d\n",
pid, tid, uid, comm, args->pid);
print(kstack(12));
}

从结构上看,它就是:

1
2
3
4
5
事件
/筛选条件/
{
满足条件时执行的记录动作
}
  • $1:传入脚本的第一个位置参数,这里是目标 PID。
  • /.../:筛选条件,只关注发给目标的 9 号信号。
  • printf:输出记录。
  • kstack(12):采集最多 12 层内核调用栈。

注意到被杀的可能是评分 actor 创建的子进程而不是它本身。如果只监听一个最外层 PID,可能错过真正被杀的监督子进程。我通过进程创建事件,把相关子进程纳入观察集合,并在退出时维护记录。

现在启动上述脚本:

1
2
3
sudo env TZ=UTC BPFTRACE_MAX_STRLEN=128 \
timeout --foreground --signal=INT --kill-after=3s 900s \
bpftrace -q ./signal-watch.bt "$TARGET_PID"

简明解释:

  1. TZ=UTC:按 UTC 处理时间,方便对日志。
  2. --foreground:使用适合前台终端交互的运行方式。
  3. --signal=INT:超时先发 SIGINT,让追踪器有机会正常退出。
  4. --kill-after=3s:再过 3 秒仍未退出时,执行强制终止。
  5. 900s:最长观察 15 分钟。
  6. bpftrace -q:开始运行追踪器,减少非必要输出。

我就这样启动了追踪,同时启动了我刚刚说的「计算两数相加」固定评分流程。


追踪记录

启动评分流程一段时间后,得到追踪记录如下:

1
2
3
4
5
6
7
SIGKILL
context_pid=4100
tid=4100
uid=0
comm=sh
target=5200
target_comm=python

内核调用栈中包含:

1
2
3
4
__x64_sys_kill
kill_something_info
kill_pid_info
send_signal_locked
  • PID:Process ID,进程标识。
  • TID:Thread ID,线程标识。
  • PPID:Parent Process ID,父进程标识。
  • UID:User ID,用户标识。
  • EUID:Effective User ID,有效用户标识。
  • comm:任务名。

综上所述,我们可以知道,UID 为 0 的 root 用户的一个 shell 进程,向着我的代码测评评分子进程,发送了 SIGKILL。注意到 __x64_sys_kill 等用户态 kill 系统调用路径。


在哪里

我立刻想通过 /proc 查清楚这个神秘的 root 级 sh 进程的父进程和命令行,但很遗憾它已经瞬间退出了。

在 Linux 中,/proc 是一个虚拟文件系统,可以展示运行中进程和内核状态。比方说,如果你想查看当前 Shell 进程的信息,就可以用这个查看:

1
cat /proc/self(或者把 self 换为别的进程的 PID)/status

然而,进程退出后,它的临时信息就不能再在 /proc 中读取,毕竟 PID 以后还可能被复用嘛。


观察系统日志

于是我改查同一时段的系统日志,看看那几秒内有没有以 root 身份启动的任务:

1
2
3
sudo journalctl -u cron.service --utc \
--since '开始 UTC' \
--until '结束 UTC' --no-pager

在输出中,我看到了 cron 的两条 root 启动记录。cron 是什么?cron 是 Linux 中常见的定时任务服务,其按计划运行命令。计划表称为 crontab,包含五个时间字段:

1
分  时  日  月  星期  命令

例如,如果五个字段都是 *,那就代表每分钟触发一次。cron 会被恶意程序利用,使程序反复启动,形成持久化。

查看 cron 日志看到,root 在 SIGKILL 信号发生前约两秒启动了两个隐藏临时目录中的程序。他们的路径就这样定位到了。


确定

我再次使用代码测评进行复现,并增强了 bpftrace 的追踪,得到了更多信息:

1
2
3
4
5
发送者:sh
身份:宿主初始用户命名空间下的 UID / EUID 0
目标:测试评分的子进程
所属 cgroup:system.slice / cron.service
命令行:查找僵尸进程,提取它们的父 PID,再强制终止父进程

cgroup 是 control group,控制组,按层次组织进程的资源分配。systemd 通常利用 cgroup 管理服务。注意到 cron.service,shell 位于 cron 服务的控制组中。

什么是僵尸进程?Linux 进程退出以后,在它的父进程调用 wait 读取它的退出结果之前,内核会保留一份子进程的退出记录。此时,子进程已经停止运行,但在 ps 中仍显示为 Z,子进程处于 zombie 状态。

1
2
3
4
5
6
7
8
9
10
11
父进程创建子进程
↓
子进程执行任务
↓
子进程退出
↓
暂时保留退出状态,显示为 Z
↓
父进程 wait / waitpid
↓
内核完成回收

那么「命令行:查找僵尸进程,提取它们的父 PID,再强制终止父进程」是什么意思?这里的「命令行」是指 sh 进程启动时收到的参数。

从捕获到的参数前缀看,那个 sh 在寻找已经退出、但还没被回收的子进程,再去终止它们仍在运行的父进程。而这直接击中了我的评分进程。具体来说,它的行为伪代码是:

1
2
3
4
列出所有进程的状态和父进程编号
筛出状态中包含 Z 的条目
取出这些条目的父 PID,并去重
对每个父 PID 发送 SIGKILL

注意被杀的对象是僵尸的父进程。那么就可以复原出我的评分场景当时的遭遇了:

1
2
3
4
5
6
7
8
9
10
11
12
评分监督进程 P
└── 某个子进程 C 完成退出
↓
C 短暂处于 Z 状态

外部 root 任务扫描到 C
↓
取出 C 的父 PID,也就是 P
↓
向 P 发送 SIGKILL
↓
评分监督进程来不及完成交接

这个 sh 是谁?它到底为什么要到处乱杀僵尸子进程的父进程?警觉的 Codex 告诉我,挖矿程序喜欢乱杀别的进程以抢夺算力,恰好把我的评分监督进程杀掉了。于是 Codex 计算了文件的哈希:

1
sha256sum -- ./sh

哈希与公开 Triage 行为分析报告中的样本哈希完全相同。这是一个 XMRig 挖矿载荷,包括 cron 和 shell 杀进程行为。

此挖矿进程动了我的显卡。以上。