简单记一下笔记

Detecting hallucinations in large language models using semantic entropy | Nature

作者想出了一种办法，可以检测大语言模型的一种幻觉：捏造（confabulation）。因为一个想法在语义层面（meaning level）可以计算不确定性，而不是只在特定的词序列上计算。类似于：同一个想法可以用很多不同方式表达。

Paper

On the Role of Attention Heads in Large Language Model Safety

ICLR 2025

Methods

Previous research has shown that there are safety parameters in LLM. This paper focuses on the attention heads.

Ships (Safety Head Important Score)

Ships helps to qualify the impact of a specific attention head on safety. As shown in the formula, it calculates the KL divergence between two output distributions: one with all attention heads and another with a head ablated.

$q_{\mathcal{H}}$ is harmful queries. $\theta_{\mathcal{O}}$ is the parameters of original attention heads. $\theta_{h_{i}^{l}}$ is the parameters of the $i$-th attention head in layer $l$. $\setminus$ is the ablation operation.

How to ablate an attention head? The paper proposes two methods.

Aspirant学长希望学习钢琴、架子鼓。本文档旨在帮助Aspirant学长快速回顾他可能遗忘的基础乐理，建立起接下来练习钢琴的基础。

本文档也许也可以帮助程序员或相关人员以相对熟悉的风格了解乐理知识。欢迎阅读！

致谢

Deep-sea同学是一名很优秀的音乐专业学生，她为本文档提供了很多建议与指导。

工具使用

abcjs，用于绘制五线谱。

正在从网上引入abcjs……请等待加载完毕。

未加偏差修正的 EMA：

• $\theta_t$ ：当前模型参数
• $\theta^{EMA}_t$ ：EMA 参数（在影子模型(shadow model)里）
• $\beta \in [0,1)$ ：衰减系数接近 1 （越接近 1，衰减得越慢，历史参数影响保持更久，EMA 越平滑）
• 直觉：靠前的参数权重小，靠后的参数权重大

看到这个帖子后有点害怕，弃用了 gitalk。更换了新的评论插件。

也不能说是通关攻略吧，简单记录一些文件里的信息罢了。

参考文献：同济大学计算机科学与技术学院2026届优秀本科毕业生免试攻读研究生推荐工作学生学业综合成绩评定办法（征求意见稿）

注意：这个文件可能会逐年改变，以当下的为准。

任务：FudanNLP/nlp-beginner 的任务三。

下学期都要开始了才开始写学期总结的屑 Palind

我很高兴自己通过努力，在文化课方面 取得了相对优秀的成绩。但在成绩背后 ，Palind 依然对未来惴惴不安。

思考自己的未来总是令人害怕，但是逃避不能解决问题。

现在来总结一下对未来道路的探索。

任务：FudanNLP/nlp-beginner 的任务二。

任务：FudanNLP/nlp-beginner 的任务一。