Chapter 22 in “A First Course in Causal Inference”.

Notes on “On factor models with random missing： EM estimation, inference, and cross validation”.

Chapter 14 in “A First Course in Causal Inference”.

Table of Contents 0、MLP 一、Kolmogorov–Arnold Networks 1. Kolmogorov-Arnold Representation theorem 2. KAN Architecture 3. KAN’s Approximation Abilities and Scaling Laws 4. For Interpretability: Simplifying KANs and Making them interactive 二、KAN 的一些问题 参考文献 0、MLP 感知机最早由Rosenblatt于1957年提出，由于其简单的结构而得到快速的发展，下图是一个MLP的示意图 我们可以把上面这个 MLP 表示为： $$ f_{\mathrm{MLP}}(\mathbf{x})=\mathbf{W}_4 \boldsymbol{\sigma}\left(\mathbf{W}_3 \boldsymbol{\sigma}\left(\mathbf{W}_2 \boldsymbol{\sigma}\left(\mathbf{W}_1 \mathbf{x}+\mathbf{b}_1\right)+\mathbf{b}_2\right)+\mathbf{b}_3\right)+\mathbf{b}_4, $$ 可以看出，在 MLP 中，激活函数$\boldsymbol{\sigma}(\cdot)$是作用在节点（node）上的，而边（edge）的连接没有附带任何信息，唯一的作用就是把两层中的所有节点连接起来。

主要针对扩散模型的一些经典文章写一些个人理解，博采众长，参考了很多博客、文章，详细信息见参考文献 Table of Contents 0、文生图片模型 1、几种生成模型的对比 2、扩散模型（DDPM） 3 、基于分数的生成模型（Score-based generative models） 参考文献 0、文生图片模型 DALL·E 3 扩散模型的大火始于2020年所提出的DDPM（“Denoising Diffusion Probabilistic Models”）。当前最先进的两个文本生成图像——OpenAI的DALL·E 3和Google的Imagen 2，都是基于扩散模型来完成的。 1、几种生成模型的对比 GAN（生成对抗网络）：GAN是由两部分组成，一个生成器和一个判别器。生成器的目标是创建足够真实的数据，以至于判别器不能区分生成的数据和真实数据。判别器的目标是正确区分真实数据和生成器生成的假数据。这两部分在训练过程中相互竞争，推动彼此的进步，因此称为对抗网络。GAN在图像生成方面尤其出色。 VAE（变分自编码器）：VAE采用不同的方法来生成数据。它通过编码器将数据映射到一个分布上，并从这个分布中采样来构造一个解码器用于数据重建。它是一种通过概率方法生成新数据的模型，通常用于生成遵循特定统计分布的图片。 Flow-based Models（基于流的模型）：这类模型使用可逆变换来学习数据的分布，这意味着它们可以精确地计算生成数据的概率。它们可以生成高质量的数据，并且给定新数据，也可以确定其概率。这种特性在密度估计和无损压缩方面特别有用。 Diffusion Models（扩散模型）：Diffusion Models 的灵感来自non-equilibrium thermodynamics （非平衡热力学）。理论首先定义扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。与 VAE 或流模型不同，扩散模型是通过固定过程学习，并且隐空间具有比较高的维度。

Table of Contents 一、Lagrange插值法 二、（Bezier）贝塞尔曲线与B-Splines 1、（Bezier）贝塞尔曲线 2、B-Splines 三、样条估计 四、拟合样条对深度学习中的双下降（Double Decent）现象的解释 一、Lagrange插值法 已知若干点，如何得到光滑曲线？是否可以通过在原有数据点上进行点的填充生成曲线？ 首先，可以考虑两个点的插值： 考虑$P_0$和$P_1$之间的任意一点$P_x$，可表示为： $$P_x=P_0+\left(P_1-P_0\right) t=(1-t) P_0+t P_1$$ 其中$t={(P_0 P_x)}/{(P_0 P_1)}$。直观上，我们可以把$P_0$和$P_1$视为控制点，$(1-t)$和$t$视作基函数。【思考：两点如何推广到多个点？】 如果知道三个点: $P_0, P_1, P_2$, 如何确定一条曲线 ? 想法: 将$P_0, P_1$ 进行连接，然后将$P_1, P_2$ 进行连接,。但是这样的一个曲线并不光滑 注意到，直线可以由2个点确定， 而二次曲线由三个点即可确定，推广到一般情况， $n-1$ 阶曲线可以由$n$个点确定 这本质上就是Lagrange插值法的思想 (必须经过所有点) 一般来说，如果我们有 $n$ 个点 $\left(x_1, y_1\right), \ldots,\left(x_n, y_n\right)$ ，各 $x_i$ 互不相同。对于 1 到 $\mathrm{n}$ 之间的每个 $k$, 定义 $n-1$ 次多项式 $$ L_k(x)=\frac{\left(x-x_1\right) \ldots\left(x-x_{k-1}\right)\left(x-x_{k+1}\right) \ldots\left(x-x_n\right)}{\left(x_k-x_1\right) \ldots\left(x_k-x_{k-1}\right)\left(x_k-x_{k+1}\right) \ldots\left(x_k-x_n\right)} $$ $L_k(x)$ 具有有趣的性质: $L_k\left(x_k\right)=1, L_k\left(x_j\right)=0, j \neq k$.

Table of Contents 一、生成混合高斯数据 1、原理 2、Python实现 3、R实现 二、EM算法 1、原理 2、Python实现 3、R实现 4、第三方工具库 三、真实数据 1、Python实现 2、R实现 四、后记 一、生成混合高斯数据 1、原理 利用混合高斯模型的公式： $$ P(y \mid \theta)=\sum_{k=1}^{K} \alpha_{k} \phi\left(y \mid \theta_{k}\right) $$ 只需要给定：