你好！！我是Palind，这里是我的博客~
You’re very welcome to check out my blog!
我对 ML 很感兴趣，正在学习 PyTorch🔥和一些经典的论文📃。
你想看看我最近写的博客嘛？我建议你来看看以下这些，很好玩的！
🚀 Flow Matching学习笔记 对 Flow Matching 的学习
🔥 Diffusion Model学习笔记 对 DDPM 的学习
🌸 ViT论文复现笔记 对 ViT 的代码复现
……我还写了一些札记记录生活，在此就不一一列举啦。
任务：FudanNLP/nlp-beginner 的任务一。
在开始学习 Flow Matching 之前，我需要回顾以前的学习内容，并明确学习目的。
有这样的几类主要生成模型：
VAE（变分自编码器，Variational Auto-encoder）。VAE 通过编码器将输入数据映射到潜在变量$z$的潜在空间（latent space），再用解码器重建原始输入。
输入$x$对应的真实后验分布$p(z∣x)$是潜在变量$z$的分布，是一个连续的多维概率分布，人们常常假设它为高斯分布（因此，人们设置训练的近似分布$q_ϕ(z∣x)$是高斯分布）。编码器想学习出来的，就是这个分布，或者说，就是输入对应的潜在变量$z$的分布参数（高斯分布的均值、方差），而不是$z$自己。我的学习笔记是VAE学习笔记 | Palind’s Blog
为什么不是$z$自己？因为如果学习的是$z$自己，模型就退化为了一个常见的 Auto-encoder，潜在空间是不连续的。
VAE 名字中的“Variational”来自变分推断（Variational Inference），通过训练变分分布$q_ϕ(z∣x)$来接近真实的$p(z∣x)$后验。
学习后验分布，使得模型的潜在空间是连续的。模型泛化能力更强，编码器输出的是分布，那我们就可以从中采样$z$输入解码器，使模型生成多样性的输出。此外，还可以进行插值变换。
我的学习资料：
ML Lecture 18: Unsupervised Learning - Deep Generative Model (Part II) - YouTube
From Autoencoder to Beta-VAE | Lil’Log
[1312.6114] Auto-Encoding Variational Bayes
我的学习笔记中引用的截图出处都在上面的资料里。
先回顾一下 auto-encoder。auto-encoder 是一个以无监督的方式自学压缩和还原数据的神经网络结构，用于从数据中学习其本质特征，发掘更高效的压缩表示。
Flow-based Generative Model - YouTube
How I Understand Flow Matching
Flow-based Deep Generative Models | Lil’Log
[1605.08803] Density estimation using Real NVP
笔记中的截图、部分公式来自以上资源。
上学期，我刷高等数学题目时，常常利用雅可比行列式，对重积分的变量进行换元。
我的理解是把一个坐标系下的小方块变形成另一个坐标系下的小方块时，雅可比行列式告诉我们新的小方块体积是原来小方块的多少倍。
Fantastic KL Divergence and How to (Actually) Compute It
我们用欧几里得距离衡量两个点之间的远近，那如何衡量两个概率分布的相似程度呢？
概率分布（Probability Distribution） 是用于描述随机变量 在各个可能取值上出现概率的数学函数或规则。对于离散随机变量，概率分布由概率质量函数（PMF）给出；对于连续随机变量，概率分布由概率密度函数（PDF）给出，其在全体定义域上的积分等于 1。
这两种分布都可以用 KL 散度来衡量：
这是 Palind 写给他的朋友 Traceless 的 Git 简明教程 ！
Traceless 是北京理工大学的一名优秀的本科生。聊天时，他提到想学习 Git 和 Github。
于是，Palind 想要给他写一份 Git 的简明教程。
本文章将主要按照第二人称 的形式，来为 Traceless 介绍 Git 的最基本的 用法。除了 Traceless，你也可以阅读本文一起学习！笔者也是新手哦，希望读者多多包涵。
简介 - Git教程 - 廖雪峰的官方网站（主要参考）
现在，参考 DDPM 的论文和李宏毅老师 的课程，我会深入浅出地记录我学习 Diffusion Model 的笔记。
以下主要学习知名的 Denoising Diffusion Probabilistic Model，DDPM。它是 diffusion model 的奠基之作，论文在arxiv的地址是 Denoising Diffusion Probabilistic Models 。
先从高斯分布 中，sample出一个都是杂讯的图片。接下来，通过denoise 的神经网络，去除杂讯，得到清晰的图片。denoise 的次数是事先定好的。这个步骤就是Reverse Process 。
生日攻势期间，由于任务较多，我有一些地方没有认真学习。现在，我需要重新学习一遍Missing Semester。
（未完结）
