正定矩阵与半正定矩阵

819 字
4 分钟
正定矩阵与半正定矩阵

正定矩阵和半正定矩阵是线性代数和优化理论中至关重要的概念。它们深刻地揭示了二次型(quadratic forms)的代数性质和与之相关的几何形状。

我们首先可以用一个简单的类比来理解:

  • 正定矩阵(Positive Definite Matrix, PD)就像是一个正数,对于任何非零向量 x\mathbf{x} ,其对应的二次型 xTAx\mathbf{x}^TA \mathbf{x} 的结果总是严格 >0>0 .
  • 半正定矩阵(Positive Semi-definite Matrix, PSD)就像是一个非负数,对于任何非零向量 x\mathbf{x} ,其对应的二次型 xTAx\mathbf{x}^TA \mathbf{x} 的结果总是 ≥0\ge 0 .

正式定义如下:

A symmetric matrix A∈Rn×nA\in \mathbb{R}^{n\times n} is called positive definite (PD) if xTAx>0\mathbf{x}^TA \mathbf{x}>0 ∀ 0≠x∈Rn\forall\, \mathbf{0}\neq \mathbf{x}\in \mathbb{R}^{n}.

A symmetric matrix A∈Rn×nA\in \mathbb{R}^{n\times n} is called positive semi-definite (PSD) if xTAx≥0\mathbf{x}^TA \mathbf{x}\ge0 ∀ 0≠x∈Rn\forall\, \mathbf{0}\neq \mathbf{x}\in \mathbb{R}^{n}.

关于我们如何证明一个矩阵是半正定或是正定,有三种方法:

  1. 用定义证。
  2. 对于 PD ,其所有的特征值都 >0>0. 对于 PSD ,其所有特征值都 ≥0\ge 0.
  3. 对于 PD ,其所有主子矩阵(principal submatrix)的行列式都为正,也可以说所有的首项顺序主子式(leading principal minor)都为正。
    • 但要注意,对于 PSD 没有后面那条性质,也就是说如果矩阵 AA 的所有首项顺序主子式都为非负,不能说矩阵 AA 是半正定矩阵。
    • 反例:A=[000−1]A=\begin{bmatrix}0 & 0 \\ 0 & -1\end{bmatrix} ,其所有首项顺序主子式都为非负(0),但因为 (0,−1)[000−1](0−1)=−1<0(0,-1)\begin{bmatrix}0 & 0 \\ 0 & -1\end{bmatrix} \begin{pmatrix}0 \\ -1\end{pmatrix}=-1<0 ,所以 AA 并不是一个半正定矩阵。
    • 实际上,对于 PSD ,有:其所有主子矩阵(principal submatrix)的行列式都为非负,即所有的顺序主子式(principal minor)为非负。

关于最后一个方法,所谓的首项主子矩阵就如下图:

图中的每一个框都是一个首项主子矩阵,以此类推直到整个矩阵。

所以,所有的首项主子矩阵也可以写成下述形式

Ak=[a11a12a13⋯a1ka21a22a23⋯a2ka31a32a33⋯a3k⋮⋮⋮⋮⋮ak1ak2ak3⋯akk]k×k∀ k=1,2,…,nA_k=\begin{bmatrix} a_{11} & a_{12} & a_{13} & \cdots & a_{1k} \\ a_{21} & a_{22} & a_{23} & \cdots & a_{2k} \\ a_{31} & a_{32} & a_{33} & \cdots & a_{3k} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{k1} & a_{k2} & a_{k3} & \cdots & a_{kk} \end{bmatrix}_{k \times k} \enspace \forall\, k =1,2,\ldots,n

而所谓的首项顺序主子式就是首项主子矩阵的行列式。

对于一般的主子矩阵,指的是删除相同的行和列而形成的子矩阵;而一般的顺序主子式就是主子矩阵的行列式。


关于最后一个方法,所谓的对称子矩阵定义如下:

A submatrix BB of AA is called symmetric if it is of the form

B=[ai1i1ai1i2ai1i3⋯ai1ikai2i1ai2i2ai2i3⋯ai2ikai3i1ai3i2ai3i3⋯ai3ik⋮⋮⋮⋮⋮aiki1aiki2aiki3⋯aikik]k×k  ⟺  aijis an entry of B iffajiis also an entry of B.\begin{align} &B=\begin{bmatrix} a_{i_1i_1} & a_{i_1i_2} & a_{i_1i_3} & \cdots & a_{i_1i_k} \\ a_{i_2i_1} & a_{i_2i_2} & a_{i_2i_3} & \cdots & a_{i_2i_k} \\ a_{i_3i_1} & a_{i_3i_2} & a_{i_3i_3} & \cdots & a_{i_3i_k} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ a_{i_ki_1} & a_{i_ki_2} & a_{i_ki_3} & \cdots & a_{i_ki_k} \end{bmatrix}_{k \times k} \\ & \\ & \iff a_{ij}\enspace \text{is an entry of $B$ iff}\enspace a_{ji} \enspace \text{is also an entry of $B$.} \end{align}

其中:

  • entry of matrix 指的是矩阵的元素。
  • 1≤i1<i2<…<ik≤n&1≤k≤n1\le i_1 < i_2 < \ldots < i_k \le n \enspace\& \enspace 1\le k \le n 。

此外,当对称矩阵 A∈R2×2A\in \mathbb{R}^{2\times 2} 时,有特殊的方法证明其是否为 PSD ,只要其满足下面两个条件:

  • a11≥0,a22≥0a_{11}\ge 0,a_{22}\ge 0
  • ∣A∣≥0|A|\ge 0

其中 A=[a11a12a21a22]2×2A=\begin{bmatrix}a_{11} & a_{12} \\ a_{21} & a_{22}\end{bmatrix}_{2\times 2}

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

正定矩阵与半正定矩阵
https://hac.he.cn/posts/linear-algebra-01/
作者
HAC
发布于
2026-09-30
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
HAC
观之非易,行且克难
Greetings
欢迎来到我的博客!这里主要分享我的学习笔记与兴趣爱好。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
分类
标签
站点统计
文章
46
分类
8
标签
19
总字数
116,126
运行时长
0 天
最后活动
0 天前

当前页面没有目录

文章目录

当前页面没有目录