双线性型与二次型
Published:
Introduction
TODO:
双线性型
若二元函数 $B$ 接受来自同一线性空间的两个向量 $\bm x, \bm y$，且对 $\bm x, \bm y$ 都满足线性性，则称 $B$ 为一个双线性型。
\[\begin{aligned} & B(\bm x,\bm y) \\ =& B\left( \sum_i x_i \bm e_i, \sum_j y_j \bm e_j \right) \\ =& \sum_i \sum_j B(\bm e_i, \bm e_j) x_i y_j \end{aligned}\]因此任意双线性型都满足这样的形式：
\[B(\bm x, \bm y) = \sum_{i,j} A_{i,j} x_i y_j\]教材中常见的写法是使用向量的转置把双线性型构造成矩阵与向量的乘法：
\[B(\bm x, \bm y) = \bm x^T A \bm y\]我个人不喜欢这个写法。向量的转置对于初学者而言是意义不明的，仅仅是代数技巧；$\bm x^T A \bm y$ 是 $1 \times 1$ 矩阵，而 $B(\bm x, \bm y)$ 是实数，直接写上等号算 notation abuse。
因此，在下文中，若需要强调双线性型中的矩阵，我们使用 Dirac 符号：
\[\langle \bm x \vert A \vert \bm y \rangle = \sum_{i,j} A_{i,j} x_i y_j\]$\langle \bm x \vert$ 被称为 bra，$\vert \bm y \rangle$ 被称为 ket，合起来加一个矩阵 $\langle \bm x \vert A \vert \bm y \rangle$ bracket 得到一个数。若 $A$ 是单位矩阵 $I$，则可以省略得到 $\langle \bm x \vert \bm y \rangle$。
简单性质
对双线性型的一侧施加一个线性变换会怎样？
\[\begin{aligned} & \langle A \bm x \vert M \vert \bm y \rangle \\ =& \sum_i \sum_j M_{i,j} (A \bm x)_i \bm y_j \\ =& \sum_i \sum_j M_{i,j} \left( \sum_k A_{i,k} \bm x_k \right) \bm y_j \\ =& \sum_k \sum_j \left( \sum_i A_{i,k} M_{i,j} \right) \bm x_k \bm y_j \\ =& \langle \bm x \vert A^T M \vert \bm y \rangle \\ \end{aligned}\]类似地，若在右侧也施加线性变换，完全体是这样：
\[\langle A \bm x \vert M \vert B \bm y \rangle = \langle \bm x \vert A^T M B \vert \bm y \rangle\]线性变换在脱离 ket 时不变，脱离 bra 时要转置。
双线性型的对称+反对称分解
若 $B$ 满足对称性，即 $B(\bm x,\bm y) = B(\bm y,\bm x)$：
\[A_{i,j} = B(\bm e_i, \bm e_j) = B(\bm e_j, \bm e_i) = A_{j,i}\]即 $A$ 是对称矩阵。
若 $B$ 满足反对称性，即 $B(\bm x,\bm y) = - B(\bm y,\bm x)$：
\[A_{i,j} = B(\bm e_i, \bm e_j) = - B(\bm e_j, \bm e_i) = - A_{j,i}\]即 $A$ 是反对称矩阵。
特别地，若 $\bm x = \bm y$，有
\[B(\bm x,\bm x) = 0\]熟知矩阵的对称+反对称分解：
\[A_{i,j} = \frac {A_{i,j} + A_{j,i}} 2 + \frac {A_{i,j} - A_{j,i}} 2\] \[A = \frac {A + A^T} 2 + \frac {A - A^T} 2\]显然双线性型可以做同样分解。
二次型
若在双线性型 $B$ 的两个参数放同一个向量，就得到了二次型 $Q$：
\[Q(\bm x) = B(\bm x,\bm x)\]代入刚才的对称+反对称分解：
\[\begin{aligned} & \langle \bm x \vert A \vert \bm x \rangle \\ =& \langle \bm x \vert \frac {A + A^T} 2 \vert \bm x \rangle + \langle \bm x \vert \frac {A - A^T} 2 \vert \bm x \rangle \\ =& \langle \bm x \vert \frac {A + A^T} 2 \vert \bm x \rangle \\ \end{aligned}\]由于二次型的反对称部分必然为 $0$，我们后续只讨论包含对称矩阵的二次型。
二次型与对称双线性型构成双射。该关系被称为极化恒等式：
\[\begin{aligned} Q(\bm x + \bm y) &= B(\bm x + \bm y, \bm x + \bm y) \\ &= B(\bm x, \bm x) + B(\bm x, \bm y) + B(\bm y, \bm x) + B(\bm y, \bm y) \\ &= Q(\bm x) + 2 B(\bm x, \bm y) + Q(\bm y) \\ \end{aligned}\] \[\boxed{ B(\bm x, \bm y) = \frac {Q(\bm x + \bm y) - Q(\bm x) - Q(\bm y)} 2 }\]多元函数 Taylor 展开 & Hessian 矩阵
要求 $f(\bm x_0 + \bm h)$ 的展开。设辅助函数 $g$
\[g(t) = f(\bm x_0 + t \bm h) \implies f(\bm x_0 + \bm h) = g(1) = \sum_{n=0}^\infty \frac {g^{(n)}(0)} {n!}\] \[\begin{cases} g'(t) = \sum_i \frac {\partial} {\partial x_i} f(\bm x_0 + t \bm h) \times h_i \\ g''(t) = \sum_{i,j} \frac {\partial^2} {\partial x_i \partial x_j} f(\bm x_0 + t \bm h) \times h_i \times h_j \\ \end{cases}\] \[\begin{cases} g'(0) = \sum_i \frac {\partial} {\partial x_i} f(\bm x_0) \times h_i \\ g''(0) = \sum_{i,j} \frac {\partial^2} {\partial x_i \partial x_j} f(\bm x_0) \times h_i \times h_j \\ \end{cases}\]$g’‘(0)$ 是一个关于 $\bm h$ 的二次型。系数矩阵记作 $H(\bm x_0)$。
\[H(\bm x_0)_{i,j} = \frac {\partial^2} {\partial x_i \partial x_j} f(\bm x_0)\] \[g''(0) = \langle \bm h \vert H(\bm x_0) \vert \bm h \rangle\]偏导可以交换，因此 $H(\bm x_0)$ 天然是对称矩阵。
\[\boxed{ f(\bm x_0 + \bm h) = f(\bm x_0) + \langle \nabla f(\bm x_0) \vert \bm h \rangle + \frac 1 2 \langle \bm h \vert H(\bm x_0) \vert \bm h \rangle + o(\lVert \bm h \rVert^2) }\]极值点
一元微积分中，对于一阶导为 $0$ 的点，它是局部极小值的一个必要条件是二阶导 $> 0$。在多元微积分中有没有类似的结论？
对于 $\nabla f$ 为 $0$ 的点，根据 Taylor 展开有
\[f(\bm x_0 + \bm h) - f(\bm x_0) = \frac 1 2 \langle \bm h \vert H(\bm x_0) \vert \bm h \rangle + o(\lVert \bm h \rVert^2)\]若 $H$ 满足
\[\langle \bm h \vert H(\bm x_0) \vert \bm h \rangle > 0, \quad \forall \bm h \ne 0\]则 $\bm x_0$ 是局部的极小值。
由此引出正定矩阵定义：对于对称矩阵 $A$，若
\[\langle \bm x \vert A \vert \bm x \rangle > 0, \quad \forall \bm x \ne \bm 0\]则称 $A$ 为正定矩阵。
内积 & 度量
当 $A$ 是正定矩阵时，对应的双线性型被称为内积，记作 $\langle \bm x, \bm y \rangle$。$A$ 被称为度量。内积为 $0$ 的向量正交。内积对应的二次型的平方根被称为内积诱导的范数：
\[\lVert \bm x \rVert^2 = \langle \bm x, \bm x \rangle\] \[\lVert \bm x \rVert = \sqrt{\langle \bm x, \bm x \rangle}\]使用 Dirac 符号写出：
\[\langle \bm x, \bm y \rangle = \langle \bm x \vert A \vert \bm y \rangle\]勾股定理
\[\langle \bm x, \bm y \rangle = 0 \implies \lVert \bm x \rVert^2 + \lVert \bm y \rVert^2 = \lVert \bm x + \bm y \rVert^2\]投影
\[\begin{cases} \bm x = \bm x_\parallel + \bm x_\perp \\ \bm x_\parallel = \lambda \bm y \\ \langle \bm x_\perp, \bm y \rangle = 0 \end{cases}\]解方程组
\[\begin{aligned} \langle \bm x - \lambda \bm y, \bm y \rangle &= 0 \\ \langle \bm x, \bm y \rangle - \lambda \langle \bm y, \bm y \rangle &= 0 \\ \lambda &= \frac {\langle \bm x, \bm y \rangle} {\lVert \bm y \rVert^2} \end{aligned}\] \[\bm x_\parallel = \frac {\langle \bm x, \bm y \rangle} {\lVert \bm y \rVert^2} \bm y\] \[\boxed{ \bm x_\parallel = \frac {\langle \bm x, \bm y \rangle} {\lVert \bm y \rVert} \hat y }\]若 $\bm y$ 是一个单位向量（一般记作 $\bm u$）：
\[\bm x_\parallel = \langle \bm x, \bm u \rangle \hat {\bm u}\]Gram–Schmidt orthogonalization
任意内积空间存在正交基。
对于给定的一组基 $\bm v_{1 \cdots n}$，令
\[\bm u_k = \bm v_k - \sum_{i=1}^{k-1} \frac {\langle \bm v_k, \bm u_i \rangle} {\lVert \bm u_i \rVert} \hat {\bm u}_i\]不难验证 $\bm u_{1 \cdots n}$ 是空间的正交基。
Cauchy-Schwarz 不等式
\[\boxed{ \lvert \langle \bm x, \bm y \rangle \rvert \le \lVert \bm x \rVert \lVert \bm y \rVert }\]证明：把 $\bm x$ 正交分解到 $\bm y$ 的方向和与 $\bm y$ 正交的方向。
\[\begin{aligned} \bm x &= \frac {\langle \bm x, \bm y \rangle} {\lVert \bm y \rVert} \hat {\bm y} + \bm x_\perp \\ \lVert \bm x \rVert^2 &= \frac {\lvert \langle \bm x, \bm y \rangle \rvert^2} {\lVert \bm y \rVert^2} + \lVert \bm x_\perp \rVert^2 \\ \lVert \bm x \rVert^2 & \ge \frac {\lvert \langle \bm x, \bm y \rangle \rvert^2} {\lVert \bm y \rVert^2} \\ \lVert \bm x \rVert \lVert \bm y \rVert & \ge \lvert \langle \bm x, \bm y \rangle \rvert \end{aligned}\]当 $\bm y = \bm 0$ 时原结论是平凡的，因此不担心 $\lVert \bm y \rVert = 0$ 在分母上的情况。
取等条件是 $\bm x_\perp = \bm 0$，即 $\bm x$ 和 $\bm y$ 线性相关。
标准内积
\[\bm x \cdot \bm y := \langle \bm x \vert \bm y \rangle = \sum_i x_i y_i\]勾股定理：
\[\lVert \bm x \rVert = \sqrt{\bm x \cdot \bm x} = \sqrt{\sum_i x_i^2}\]正交矩阵
保内积不变的变换（显然也保范数不变）
\[\langle \bm x \vert \bm y \rangle = \langle Q \bm x \vert Q \bm y \rangle\] \[Q^T Q = I\] \[(\det Q)^2 = 1 \implies \det Q = \pm 1\]旋转，可能翻转。构成 Orthogonal Group $O(n)$
若只看 $\det Q = 1$，强制不许翻转。构成 Special Orthogonal Group $SO(n)$
正交对角化 & Spectral theorem
$A = A^T$ 是对称矩阵最没用的定义！真正有用的定义是：对于实对称矩阵 $A$ 有
\[\langle A \bm x \vert \bm y \rangle = \langle \bm x \vert A \bm y \rangle\]这可以从前面双线性型的性质推出。
对称矩阵对应的线性变换长什么样？
先接受定理：对称矩阵 $A$ 的所有特征值均为实数。在后续复内积的段落会证明这一点，因为讨论复特征值时不可避免地会遇到复向量，而复向量则必须用到复内积。
对于 $A$ 的两个不同特征值 $\lambda_1 \ne \lambda_2$，设对应的两个特征向量分别为 $\bm x, \bm y$，则
\[\begin{cases} \langle A \bm x \vert \bm y \rangle = \langle \lambda_1 \bm x \vert \bm y \rangle = \lambda_1 \langle \bm x \vert \bm y \rangle \\ \langle \bm x \vert A \bm y \rangle = \langle \bm x \vert \lambda_2 \bm y \rangle = \lambda_2 \langle \bm x \vert \bm y \rangle \\ \end{cases}\] \[\begin{aligned} (\lambda_1 - \lambda_2) \langle \bm x \vert \bm y \rangle &= 0 \\ \langle \bm x \vert \bm y \rangle &= 0 \\ \end{aligned}\]对于 $A$ 的同一特征值 $\lambda$ 的所有不同特征向量，它们同时以 $\lambda$ 的倍率增长，因此张成的空间也以 $\lambda$ 的倍率增长。直接使用 Gram–Schmidt orthogonalization 构造一组正交基。
因此，必定可以构造一组正交基，使得空间在这组基下只有缩放
缩放对应的是对角矩阵，因此对称矩阵必然存在对角化，且变换矩阵是正交矩阵
\[A = Q^{-1} \Lambda Q = Q^T \Lambda Q\]任意度量下的内积在正交变换后都相当于对角阵内积
\[\langle \bm x \vert A \vert \bm y \rangle \equiv \langle Q \bm x \vert \Lambda \vert Q \bm y \rangle\]判定正定矩阵的一个充要条件
该对称矩阵的所有特征值均为正。
正特征值 -> 正定矩阵：TODO:
正定矩阵 -> 正特征值：TODO:
正定矩阵的二次型
正定矩阵二次型的等值面是椭球
\[Q(\bm x) = \sum_{k=1}^n \lambda_k y_k^2 = \sum_{k=1}^n \frac {y_k^2} {(1 / \sqrt{\lambda_k})^2}\]极值
与单位球有公共点的最大椭球，一定是在最短轴顶点相切，对应最大特征值：
\[\min \frac 1 {\sqrt{\lambda_k}} \iff \max \lambda_k\]同理，最小值对应最小的特征值
某种结构
协方差张量
先去中心化。$\bm x \mapsto \bm x - \bar {\bm x}$
\[\operatorname{Var}(\langle \bm x, \bm u \rangle) = \frac 1 n \sum_k \langle \bm x_k, \bm u \rangle^2\]这是一个二次型 $\langle \bm u \vert \Sigma \vert \bm u \rangle$，根据极化恒等式可得到其对应的双线性型为
\[\langle \bm u \vert \Sigma \vert \bm v \rangle = \frac 1 n \sum_k \langle \bm x_k, \bm u \rangle \langle \bm x_k, \bm v \rangle\]代入基向量 $\bm e_i, \bm e_j$ 可以得到 $\Sigma$ 的元素：
\[\begin{aligned} \Sigma_{i,j} = \langle \bm e_i \vert \Sigma \vert \bm e_j \rangle &= \frac 1 n \sum_k \langle \bm x_k, \bm e_i \rangle \langle \bm x_k, \bm e_j \rangle \\ &= \frac 1 n \sum_k x_{k,i} x_{k,j} \\ \end{aligned}\]这个值就是我们熟知的协方差。
主成分分析 PCA
对于 PCA 的问题，我们希望找到方向 $\bm u$ 使得该方向上数据的方差最大：
\[\max_{\lVert \bm u \rVert = 1} \langle \bm u \vert \Sigma \vert \bm u \rangle\]根据前面说的结论，这个 $\bm u$ 应该指向等值椭球面最短轴的方向，即 $\bm u$ 是 $\lambda_{\max}$ 对应的特征向量。
转动惯量张量
协方差——投影长度的平方；转动惯量——投影距离的平方。加起来是定值，所以是同一个数学结构。
此处我们使用的旋转是高维旋转的一个子集，即绕着一个轴在其正交补空间内做任意旋转。
半双线性型 & Hermitian
由于我们希望对复向量也定义内积，我们需要对于复数的双线性型和二次型。但注意由于二次型是范数的平方，我们希望二次型总是非负实数。
若我们直接把实数上的双线性型搬过来呢？
\[\begin{aligned} & B(\mathrm e^{\mathrm i \theta} \bm x, \mathrm e^{\mathrm i \theta} \bm x) \\ =& \mathrm e^{\mathrm 2 i \theta} B(\bm x, \bm x) \\ \end{aligned}\]坏了坏了，除了平凡的 $B(\bm x, \bm x) \equiv 0$，$B(\mathrm i \bm x, \mathrm i \bm x)$ 和 $B(\bm x, \bm x)$ 不可能保证同时是实数，完啦！
如果这两个幅角能抵消呢？我们不妨让其中一个系数先共轭再被提出来，这种性质被称为半双线性：
\[S(a \bm x, b \bm y) = a \bar b S(\bm x, \bm y)\]此时：
\[\begin{aligned} & S(\mathrm e^{\mathrm i \theta} \bm x, \mathrm e^{\mathrm i \theta} \bm x) \\ =& \mathrm e^{\mathrm i \theta} \mathrm e^{- \mathrm i \theta} S(\bm x, \bm x) \\ =& S(\bm x, \bm x) \\ \end{aligned}\]这样就可以保证恒为实数了！
在这种条件下，我们可以推导出半双线性型的表达式：
\[\begin{aligned} & S(\bm x, \bm y) \\ =& S\left( \sum_i x_i \bm e_i, \sum_j y_j \bm e_j \right) \\ =& \sum_i \sum_j S(\bm e_i, \bm e_j) x_i \bar y_j \end{aligned}\]与此同时我们直接定义“半”二次型，称为 Hermitian：
\[H(\bm x) = S(\bm x, \bm x) \in \mathbb R\]仿照对称+反对称分解，半二次型有没有类似分解？
TODO:
共轭对称：
\[S(\bm x, \bm y) = \overline{S(\bm y, \bm x)}\]极化恒等式
TODO:
复内积 / Hermite 内积
若 $H$ 正定，则 $S$ 是复内积
实对称矩阵只有实特征值
\[\begin{aligned} & \langle A \bm x \vert \bm x \rangle &&= \langle \bm x \vert A \bm x \rangle \\ =& \langle \lambda \bm x \vert \bm x \rangle &&= \langle \bm x \vert \lambda \bm x \rangle \\ =& \lambda \lVert \bm x \rVert^2 &&= \bar \lambda \lVert \bm x \rVert^2 \\ \end{aligned}\]$\lambda = \bar \lambda$，即 $\lambda \in \mathbb R$。