矩阵代数回顾

1610 字
8 分钟
矩阵代数回顾
2026-09-01
2026-09-03
课程笔记
linear-algebra
浏览量加载中...
  1. 1非层次聚类方法
  2. 2层次聚类方法
  3. 3相似性度量
  4. 4矩阵代数回顾本文

又开学了，因为有统计课，所以就借此契机复习下矩阵代数的基本概念。本篇不涉及高深的理论，仅供速查之用。

1. 矩阵#

1.1. 定义#

  • 矩阵是一个矩形的数字阵列。
  • 若矩阵 AA 是一个有 mm 行 nn 列的数字阵列，则称 AA 为 m×nm \times n 矩阵。
  • 矩阵 AA 的元素记作 aija_{ij}，表示位于第 ii 行、第 jj 列的数。
A=(aij)A=(a_{ij})

一般的 m×nm\times n 矩阵可以写成

A=[a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn].A= \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}.
  • 当 n=1n=1 时，m×1m\times1 矩阵是一个向量。
  • 当 m=n=1m=n=1 时，1×11\times1 矩阵是一个标量。

例如：

A=[3−21−76−4],b=[2−10],c=[2]=2.A= \begin{bmatrix} 3 & -2 & 1\\ -7 & 6 & -4 \end{bmatrix}, \qquad b= \begin{bmatrix} 2\\ -1\\ 0 \end{bmatrix}, \qquad c=[2]=2.

1.2. 矩阵加法#

设 AA 和 BB 为 m×nm\times n 矩阵。

  • C=A+BC=A+B 是一个 m×nm\times n 矩阵。
  • 若 C=(cij)C=(c_{ij})，则
cij=aij+bij.c_{ij}=a_{ij}+b_{ij}.

类似地，

  • D=A−BD=A-B 是一个 m×nm\times n 矩阵。
  • 若 D=(dij)D=(d_{ij})，则
dij=aij−bij.d_{ij}=a_{ij}-b_{ij}.

1.3. 矩阵乘法#

设

  • AA 为 m×nm\times n 矩阵，
  • BB 为 n×pn\times p 矩阵，
  • kk 为标量。

则 C=ABC=AB 是一个 m×pm\times p 矩阵。

若 C=(cij)C=(c_{ij})，则

cij=∑k=1naikbkj.c_{ij}=\sum_{k=1}^{n}a_{ik}b_{kj}.

例如：

[123567][321654143]=[182418586850].\begin{bmatrix} 1&2&3\\ 5&6&7 \end{bmatrix} \begin{bmatrix} 3&2&1\\ 6&5&4\\ 1&4&3 \end{bmatrix} = \begin{bmatrix} 18&24&18\\ 58&68&50 \end{bmatrix}.
Important

一般而言，

AB≠BA.AB\neq BA.

对于标量乘法，

D=kAD=kA

是一个 m×nm\times n 矩阵，且

dij=kaij.d_{ij}=ka_{ij}.

例如：

2[321212]=[642424].2 \begin{bmatrix} 3&2&1\\ 2&1&2 \end{bmatrix} = \begin{bmatrix} 6&4&2\\ 4&2&4 \end{bmatrix}.

1.4. 转置#

设 AA 为 m×nm\times n 矩阵。

AA 的转置记作

B=A′B=A'

或

B=AT.B=A^T.

则

  • BB 是一个 n×mn\times m 矩阵。
  • 若 B=(bij)B=(b_{ij})，则
bij=aji.b_{ij}=a_{ji}.

例如：

[321212]T=[322112].\begin{bmatrix} 3 & 2 & 1\\ 2 & 1 & 2 \end{bmatrix}^{T} = \begin{bmatrix} 3 & 2\\ 2 & 1\\ 1 & 2 \end{bmatrix}.

性质：

(A′)′=A(A')'=A

以及

(AB)′=B′A′.(AB)'=B'A'.

等价地，

(AT)T=A,(AB)T=BTAT.(A^T)^T=A, \qquad (AB)^T=B^TA^T.

1.5. 若干定义#

  • 当 m=nm=n 时，AA 是一个方阵。
  • 当 BB 是方阵且满足
bij=bji.b_{ij}=b_{ji}.

时，BB 是对称的。

等价地，

BT=B.B^T=B.
  • 当 AA 满足对所有 ii 有
aii=1a_{ii}=1

且对所有 i≠ji\neq j 有

aij=0a_{ij}=0

时，AA 是一个单位矩阵。

单位矩阵记作 InI_n 或简记为 II。

例如，

I3=[100010001].I_3= \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}.
Question

X′XX'X 会是什么？

1.6. 逆#

设 AA 为 n×nn\times n 矩阵。

若存在一个 n×nn\times n 矩阵 BB 使得

AB=I,AB=I,

则称 BB 为 AA 的逆：

B=A−1.B=A^{-1}.

同时，

AB=I  ⟺  BA=I.AB=I \iff BA=I.

例如：

A=[0111],A−1=[−1110].A= \begin{bmatrix} 0&1\\ 1&1 \end{bmatrix}, \qquad A^{-1}= \begin{bmatrix} -1&1\\ 1&0 \end{bmatrix}.

事实上，

[0111][−1110]=[1001].\begin{bmatrix} 0&1\\ 1&1 \end{bmatrix} \begin{bmatrix} -1&1\\ 1&0 \end{bmatrix} = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}.

若逆存在，则称 AA 为非奇异的或可逆的。

若逆存在，则逆是唯一的。

逆的性质#

(kA)−1=1kA−1(kA)^{-1}=\frac{1}{k}A^{-1}(AB)−1=B−1A−1(AB)^{-1}=B^{-1}A^{-1}(A′)−1=(A−1)′(A')^{-1}=(A^{-1})'

或等价地，

(AT)−1=(A−1)T.(A^T)^{-1}=(A^{-1})^T.

最后，

(A−1)−1=A.(A^{-1})^{-1}=A.

例子：用行变换求逆#

求以下矩阵的逆

H=[11213121314131415].H= \begin{bmatrix} 1 & \frac12 & \frac13\\ \frac12 & \frac13 & \frac14\\ \frac13 & \frac14 & \frac15 \end{bmatrix}.

从增广矩阵 [H∣I][H\mid I] 出发：

[11213100121314010131415001].\left[ \begin{array}{ccc|ccc} 1 & \frac12 & \frac13 & 1&0&0\\ \frac12 & \frac13 & \frac14 & 0&1&0\\ \frac13 & \frac14 & \frac15 & 0&0&1 \end{array} \right].

施以变换

R2←R2−12R1,R3←R3−13R1.R_2\leftarrow R_2-\frac12R_1, \qquad R_3\leftarrow R_3-\frac13R_1.

则得到

[112131000112112−12100112445−1301].\left[ \begin{array}{ccc|ccc} 1 & \frac12 & \frac13 & 1&0&0\\ 0 & \frac1{12} & \frac1{12} & -\frac12&1&0\\ 0 & \frac1{12} & \frac4{45} & -\frac13&0&1 \end{array} \right].

施以变换

R2←12R2.R_2\leftarrow12R_2.

则得到

[11213100011−61200112445−1301].\left[ \begin{array}{ccc|ccc} 1 & \frac12 & \frac13 & 1&0&0\\ 0 & 1 & 1 & -6&12&0\\ 0 & \frac1{12} & \frac4{45} & -\frac13&0&1 \end{array} \right].

施以变换

R1←R1−12R2,R3←R3−112R2.R_1\leftarrow R_1-\frac12R_2, \qquad R_3\leftarrow R_3-\frac1{12}R_2.

则得到

[10−164−60011−612000118016−11].\left[ \begin{array}{ccc|ccc} 1 & 0 & -\frac16 & 4&-6&0\\ 0 & 1 & 1 & -6&12&0\\ 0 & 0 & \frac1{180} & \frac16&-1&1 \end{array} \right].

施以变换

R3←180R3.R_3\leftarrow180R_3.

则得到

[10−164−60011−612000130−180180].\left[ \begin{array}{ccc|ccc} 1 & 0 & -\frac16 & 4&-6&0\\ 0 & 1 & 1 & -6&12&0\\ 0 & 0 & 1 & 30&-180&180 \end{array} \right].

最后，施以变换

R1←R1+16R3,R2←R2−R3.R_1\leftarrow R_1+\frac16R_3, \qquad R_2\leftarrow R_2-R_3.

于是

[1009−3630010−36192−18000130−180180].\left[ \begin{array}{ccc|ccc} 1&0&0&9&-36&30\\ 0&1&0&-36&192&-180\\ 0&0&1&30&-180&180 \end{array} \right].

因此，

H−1=[9−3630−36192−18030−180180].\boxed{ H^{-1} = \begin{bmatrix} 9&-36&30\\ -36&192&-180\\ 30&-180&180 \end{bmatrix} }.

1.7. 正交矩阵#

对于一个 n×nn\times n 矩阵 AA，AA 是正交的当且仅当

A′A=I.A'A=I.

等价地，

ATA=I.A^TA=I.

例如：

A=[cos⁡θsin⁡θ−sin⁡θcos⁡θ].A= \begin{bmatrix} \cos\theta & \sin\theta\\ -\sin\theta & \cos\theta \end{bmatrix}.

则

A′A=[cos⁡θ−sin⁡θsin⁡θcos⁡θ][cos⁡θsin⁡θ−sin⁡θcos⁡θ]=[1001].A'A = \begin{bmatrix} \cos\theta & -\sin\theta\\ \sin\theta & \cos\theta \end{bmatrix} \begin{bmatrix} \cos\theta & \sin\theta\\ -\sin\theta & \cos\theta \end{bmatrix} = \begin{bmatrix} 1&0\\ 0&1 \end{bmatrix}.

因此，AA 是正交矩阵。

设

x=[xy].x= \begin{bmatrix} x\\ y \end{bmatrix}.

则

Ax=[cos⁡θsin⁡θ−sin⁡θcos⁡θ][xy]=[xcos⁡θ+ysin⁡θ−xsin⁡θ+ycos⁡θ].Ax = \begin{bmatrix} \cos\theta & \sin\theta\\ -\sin\theta & \cos\theta \end{bmatrix} \begin{bmatrix} x\\ y \end{bmatrix} = \begin{bmatrix} x\cos\theta+y\sin\theta\\ -x\sin\theta+y\cos\theta \end{bmatrix}.

1.8. 特征值与特征向量#

设 λ\lambda 和 vv 是 n×nn\times n 矩阵 AA 的一对特征值-特征向量。则

(A−λI)v=0.(A-\lambda I)v=0.

讲义指出，若 AA 可逆，则存在 pp 对特征值与特征向量，其中 pp 是 AA 的维数。

设 Λ\Lambda 为包含所有特征值的对角矩阵，并设 VV 为以相应的单位长度特征向量为列的矩阵。则

A=VΛV−1.A=V\Lambda V^{-1}.

若 AA 是对称矩阵，

A=VΛVT.A=V\Lambda V^T.

2. 统计量的矩阵表达#

2.1. 随机向量#

随机向量的元素是随机变量。

Y=[y1⋮yn].Y= \begin{bmatrix} y_1\\ \vdots\\ y_n \end{bmatrix}.

变量 y1,…,yny_1,\ldots,y_n 可以是相关的或独立的。

它们可以表示，例如：

  • nn 个独立观测，或
  • 来自同一次观测的 nn 个随机变量。

2.2. 均值向量#

均值向量的元素是随机向量相应元素的期望值：

μ=E(Y)=[E(y1)⋮E(yn)].\mu=E(Y) = \begin{bmatrix} E(y_1)\\ \vdots\\ E(y_n) \end{bmatrix}.

2.3. 协方差矩阵#

设

  • XX 为 m×1m\times1 随机向量，
  • YY 为 n×1n\times1 随机向量。

方差-协方差矩阵，或称协方差矩阵，定义为

Cov⁡(X,Y)=E[(X−μX)(Y−μY)T].\operatorname{Cov}(X,Y) = E\left[ (X-\mu_X)(Y-\mu_Y)^T \right].

若

Cov⁡(X,Y)=(σij),\operatorname{Cov}(X,Y)=(\sigma_{ij}),

则

σij=Cov⁡(xi,yj).\sigma_{ij}=\operatorname{Cov}(x_i,y_j).

Cov⁡(X,Y)\operatorname{Cov}(X,Y) 的维数为

m×n.m\times n.

同时，

Cov⁡(X,Y)=E(XYT)−E(X)E(Y)T.\operatorname{Cov}(X,Y) = E(XY^T)-E(X)E(Y)^T.

对于随机向量 YY，

Σ=Var⁡(Y)=E[(Y−μY)(Y−μY)T].\Sigma = \operatorname{Var}(Y) = E\left[(Y-\mu_Y)(Y-\mu_Y)^T\right].

等价地，

Σ=E(YYT)−E(Y)E(Y)T.\Sigma = E(YY^T)-E(Y)E(Y)^T.

2.4. 线性组合#

设 AA 和 BB 为常数矩阵，bb 和 cc 为常数向量，XX 和 YY 为两个 n×1n\times1 随机向量，且

Var⁡(Y)=Σ.\operatorname{Var}(Y)=\Sigma.

则

E(AY+BX+b)=AE(Y)+BE(X)+b.E(AY+BX+b) = AE(Y)+BE(X)+b.

同时，

Cov⁡(AY+b,  BY+c)=AΣB′.\operatorname{Cov}(AY+b,\;BY+c) = A\Sigma B'.

等价地，

Cov⁡(AY+b,  BY+c)=AΣBT.\operatorname{Cov}(AY+b,\;BY+c) = A\Sigma B^T.

最后，

Var⁡(AY+b)=AΣA′=AΣAT.\operatorname{Var}(AY+b) = A\Sigma A' = A\Sigma A^T.

2.5. 多元正态分布#

当 p×1p\times1 随机向量 YY 服从多元正态分布时，

Y∼N(μ,Σ),Y\sim N(\mu,\Sigma),

其概率密度函数为

ϕ(Y)=1(2π)p/2∣Σ∣1/2exp⁡[−12(Y−μ)TΣ−1(Y−μ)].\phi(Y) = \frac{1} {(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left[ -\frac12 (Y-\mu)^T \Sigma^{-1} (Y-\mu) \right].

则

E(Y)=μ,Var⁡(Y)=Σ=(σij).E(Y)=\mu, \qquad \operatorname{Var}(Y)=\Sigma=(\sigma_{ij}).

对每个分量，

E(yi)=μi,E(y_i)=\mu_i,Var⁡(yi)=σii,\operatorname{Var}(y_i)=\sigma_{ii},

且

Cov⁡(yi,yj)=σij.\operatorname{Cov}(y_i,y_j)=\sigma_{ij}.

同时，

yi∼N(μi,σii).y_i\sim N(\mu_i,\sigma_{ii}).

样本的似然#

对于容量为 nn 的样本

y1,…,yn,y_1,\ldots,y_n,

似然函数为

L(μ,Σ∣y1,…,yn)=∏i=1nϕ(yi)L(\mu,\Sigma\mid y_1,\ldots,y_n) = \prod_{i=1}^{n} \phi(y_i)

或

L(μ,Σ∣y1,…,yn)=∏i=1n1(2π)p/2∣Σ∣1/2exp⁡[−12(yi−μ)TΣ−1(yi−μ)].L(\mu,\Sigma\mid y_1,\ldots,y_n) = \prod_{i=1}^{n} \frac{1} {(2\pi)^{p/2}|\Sigma|^{1/2}} \exp\left[ -\frac12 (y_i-\mu)^T \Sigma^{-1} (y_i-\mu) \right].

对数似然为

ℓ=log⁡L=−np2log⁡(2π)−n2log⁡∣Σ∣−12∑i=1n(yi−μ)TΣ−1(yi−μ).\ell = \log L = -\frac{np}{2}\log(2\pi) -\frac{n}{2}\log|\Sigma| -\frac12 \sum_{i=1}^{n} (y_i-\mu)^T \Sigma^{-1} (y_i-\mu).

线性变换#

对于常数矩阵 AA 和常数向量 cc，

AY+c∼N(Aμ+c,  AΣA′).AY+c \sim N(A\mu+c,\;A\Sigma A').

等价地，

AY+c∼N(Aμ+c,  AΣAT).AY+c \sim N(A\mu+c,\;A\Sigma A^T).

分块的多元正态向量#

设 YY 被分块为 Y1Y_1 和 Y2Y_2：

Y=[Y1Y2]∼N([μ1μ2],[Σ11Σ12Σ21Σ22]).Y= \begin{bmatrix} Y_1\\ Y_2 \end{bmatrix} \sim N\left( \begin{bmatrix} \mu_1\\ \mu_2 \end{bmatrix}, \begin{bmatrix} \Sigma_{11} & \Sigma_{12}\\ \Sigma_{21} & \Sigma_{22} \end{bmatrix} \right).

则

Σ11=Var⁡(Y1),\Sigma_{11}=\operatorname{Var}(Y_1),Σ22=Var⁡(Y2),\Sigma_{22}=\operatorname{Var}(Y_2),

且

Σ12=Cov⁡(Y1,Y2).\Sigma_{12}=\operatorname{Cov}(Y_1,Y_2).

讲义指出，Y1Y_1 和 Y2Y_2 相互独立当且仅当

Σ12=0.\Sigma_{12}=0.

2.6. 样本统计量#

假设有 nn 个观测、pp 个变量。

观测#

第 ii 个观测为

Xi=[xi1⋮xip],i=1,…,n.X_i= \begin{bmatrix} x_{i1}\\ \vdots\\ x_{ip} \end{bmatrix}, \qquad i=1,\ldots,n.

样本均值#

样本均值向量为

Xˉ=[xˉ1⋮xˉp],\bar X= \begin{bmatrix} \bar x_1\\ \vdots\\ \bar x_p \end{bmatrix},

其中

xˉj=1n∑i=1nxij.\bar x_j = \frac1n \sum_{i=1}^{n}x_{ij}.

样本协方差矩阵#

样本协方差矩阵为

S=1n−1∑i=1n(Xi−Xˉ)(Xi−Xˉ)T.S = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\bar X)(X_i-\bar X)^T.

变量 jj 的样本方差为

sjj=1n−1∑i=1n(xij−xˉj)2.s_{jj} = \frac{1}{n-1} \sum_{i=1}^{n} (x_{ij}-\bar x_j)^2.

变量 jj 与 kk 之间的样本协方差为

sjk=1n−1∑i=1n(xij−xˉj)(xik−xˉk).s_{jk} = \frac{1}{n-1} \sum_{i=1}^{n} (x_{ij}-\bar x_j)(x_{ik}-\bar x_k).

样本相关矩阵#

样本相关矩阵为

R=diag⁡(S)−1/2Sdiag⁡(S)−1/2.R = \operatorname{diag}(S)^{-1/2} S \operatorname{diag}(S)^{-1/2}.

变量 jj 与 kk 之间的样本相关系数为

rjk=sjksjjskk.r_{jk} = \frac{s_{jk}} {\sqrt{s_{jj}s_{kk}}}.

文章分享

如果这篇文章对你有帮助，欢迎分享给更多人！

矩阵代数回顾
https://hac.he.cn/posts/stat-01/
作者
HAC
发布于
2026-09-01
许可协议
CC BY-NC-SA 4.0
相似性度量
步骤并行化
相关文章智能推荐
1
正定矩阵与半正定矩阵
课程笔记简要概括正定与半正定矩阵的概念
2
如何高效计算高维行列式与逆矩阵
课程笔记当维度很大时，如何高效计算行列式和逆矩阵？如何高效计算矩阵-向量乘法？
3
非层次聚类方法
课程笔记介绍非层次聚类方法
4
层次聚类方法
课程笔记介绍简单的层次聚类方法，解决穷举所有聚类方案不可行的问题。
5
相似性度量
课程笔记在聚类分析中，要产生一个简单的分组结构，我们就需要一种衡量接近程度或相似性的度量。
随机文章随机推荐

评论区

分享你的想法，与大家交流讨论

Profile Image of the Author
HAC
观之非易，行且克难
Greetings
欢迎来到我的博客！这里主要分享我的学习笔记与兴趣爱好。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
分类
标签
站点统计
文章
46
分类
8
标签
19
总字数
116,126
运行时长
0 天
最后活动
0 天前
文章目录
1
1. 矩阵
1.1. 定义
1.2. 矩阵加法
1.3. 矩阵乘法
1.4. 转置
1.5. 若干定义
1.6. 逆
逆的性质
例子：用行变换求逆
1.7. 正交矩阵
1.8. 特征值与特征向量
2
2. 统计量的矩阵表达
2.1. 随机向量
2.2. 均值向量
2.3. 协方差矩阵
2.4. 线性组合
2.5. 多元正态分布
样本的似然
线性变换
分块的多元正态向量
2.6. 样本统计量
观测
样本均值
样本协方差矩阵
样本相关矩阵