正交

正交

• 内积：设 $n$ 维 向量 $x=(x_1,x_2,\dots ,x_n{)}^T$， $y=(y_1,y_2,\dots ,y_n{)}^T$，定义 $x$ 与 $y$ 的内积为 $(x,y)=x^{T}y=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$。
• 向量长度（范数）：$\Vert x\Vert =\sqrt{(x,x)}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$。
• 正交向量：若 $(x,y)=0$，则称向量 $x$ 与 $y$正交。
• 正交向量组：一组两两正交的非零向量。正交向量组必线性无关。
• 单位（规范）向量：长度为 $1$ 的向量，即 $\Vert x\Vert =1$。任一非零向量 $x$ 都可单位化为 $\frac{x}{\Vert x\Vert }$。
• 标准正交向量组：一组两两正交的单位向量。
• 正交矩阵：若 $n$ 阶方阵 $A$ 满足 $A^{T}A=E$（等价于 $A^{-1}=A^T$），则称 $A$ 为正交矩阵。$A$ 是正交矩阵的充要条件是 $A$ 的列（行）向量组是标准正交向量组。

正交就有方程

假设向量 $\beta$ 和 $\alpha$ 是 $n$ 维列向量，若 $\beta$ 与 $\alpha$ 正交，则有 ${\beta }^T\alpha =0$，考虑以下 齐次线性方程组

1. $\beta$ 是 ${\alpha }^{T}x=0$ 的解
2. $\alpha$ 是 ${\beta }^{T}x=0$ 的解

施密特正交化

施密特（Gram-Schmidt）正交化是把一个线性无关的向量组 $\{{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_r\}$ 变为一个正交向量组$\{{\beta }_1,{\beta }_2,\dots ,{\beta }_r\}$ 的方法。

1. 取 ${\beta }_1={\alpha }_1$。
2. 取 ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$。
3. 取 ${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$。
4. …
5. 取 ${\beta }_r={\alpha }_r-{\sum }_{i=1}^{r-1}\frac{({\alpha }_r,{\beta }_i)}{({\beta }_i,{\beta }_i)}{\beta }_i$。

得到正交向量组 $\{{\beta }_1,{\beta }_2,\dots ,{\beta }_r\}$ 后，再将其全部单位化，即可得到一个标准正交向量组 $\{{\eta }_1,{\eta }_2,\dots ,{\eta }_r\}$，其中 ${\eta }_i=\frac{{\beta }_i}{\Vert {\beta }_i\Vert }$。

实对称矩阵的特征向量正交性

实对称矩阵的一个核心性质是：属于不同 特征值 的特征向量相互正交。对于重根特征值，也可以在其对应的特征空间中找到一组正交的特征向量。这在求解过程中产生了两种典型问题。

知二求一

情景：对于一个三阶实对称矩阵 $A$，已知两个相互正交的特征向量 ${\xi }_1,{\xi }_2$，求第三个特征向量 ${\xi }_3$。

原理：三阶实对称矩阵的三个特征向量可以构成一个两两正交的向量组。因此，${\xi }_3$ 必须同时垂直于 ${\xi }_1$ 和 ${\xi }_2$。

方法一：利用方程组 ${\xi }_3$ 必须满足线性方程组： $\{\begin{array}{l}{\xi }_1^T{\xi }_3=0\\ {\xi }_2^T{\xi }_3=0\end{array}$ 解此方程组，取一个非零解即可。

• 例：已知特征向量 ${\xi }_1=(-1,0,1{)}^T$ 和 ${\xi }_2=(1,0,1{)}^T$。求 ${\xi }_3$。 令 ${\xi }_3=(x_1,x_2,x_3{)}^T$，则 $\{\begin{array}{l}{\xi }_1^T{\xi }_3=-x_1+x_3=0\\ {\xi }_2^T{\xi }_3=x_1+x_3=0\end{array}$ 解得 $x_1=0,x_3=0$，$x_2$ 为自由未知量。取 $x_2=1$，得 ${\xi }_3=(0,1,0{)}^T$。

方法二：利用向量叉乘（仅限三维） 在三维空间中，两个向量的叉乘结果是一个同时垂直于这两个向量的新向量。 ${\xi }_3={\xi }_1\times {\xi }_2$

• 例：对于上述 ${\xi }_1$ 和 ${\xi }_2$： ${\xi }_3={\xi }_1\times {\xi }_2=\left|\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ -1& 0& 1\\ 1& 0& 1\end{array}\right|=\mathbf{i}(0-0)-\mathbf{j}(-1-1)+\mathbf{k}(0-0)=2\mathbf{j}=(0,2,0{)}^T$ 取其一个简单的非零向量，可得 ${\xi }_3=(0,1,0{)}^T$。

知一求二

情景：对于一个三阶实对称矩阵 $A$，其特征值为 ${\lambda }_1,{\lambda }_2,{\lambda }_3$，其中 ${\lambda }_2={\lambda }_3$ 为二重根。已知单根 ${\lambda }_1$ 对应的特征向量为 ${\xi }_1$，求二重根 ${\lambda }_2$ 对应的两个相互正交的特征向量 ${\xi }_2,{\xi }_3$。

原理：

1. 属于不同特征值的特征向量相互正交，因此 ${\xi }_2,{\xi }_3$ 都必须与 ${\xi }_1$ 正交。
2. 所有与 ${\xi }_1$ 正交的向量构成一个平面，这个平面就是 ${\lambda }_2$ 对应的特征空间。
3. 我们需要在该特征空间（平面）内找到两个相互正交的向量作为 ${\xi }_2,{\xi }_3$。

方法：

1. 确定特征空间：${\lambda }_2$ 的特征向量 $\mathbf{x}$ 必须满足 ${\xi }_1^T\mathbf{x}=0$。
2. 任取一个向量：在该空间中（即满足 ${\xi }_1^T\mathbf{x}=0$ 的向量中）任取一个简单的非零向量作为 ${\xi }_2$。
3. 转化为“知二求一”：现在问题变成了已知 ${\xi }_1$ 和 ${\xi }_2$，求同时与它们正交的 ${\xi }_3$。利用前述“知二求一”的方法即可求出 ${\xi }_3$。

• 例：已知 ${\lambda }_1$ 是单根，其特征向量为 ${\xi }_1=(-1,0,1{)}^T$。${\lambda }_2$ 是二重根，求其对应的两个正交特征向量 ${\xi }_2,{\xi }_3$。
  1. 确定特征空间：设 $\mathbf{x}=(x_1,x_2,x_3{)}^T$ 是 ${\lambda }_2$ 的任一特征向量，则 ${\xi }_1^T\mathbf{x}=0$，即 $-x_1+x_3=0$，或 $x_1=x_3$。
  2. 任取 ${\xi }_2$：在 $x_1=x_3$ 的平面上任取一个简单的非零向量。例如，令 $x_1=1,x_2=0$，则 $x_3=1$。得到 ${\xi }_2=(1,0,1{)}^T$。
  3. 求解 ${\xi }_3$：现在问题转化为已知正交向量 ${\xi }_1=(-1,0,1{)}^T$ 和 ${\xi }_2=(1,0,1{)}^T$，求与之均正交的 ${\xi }_3$。根据“知二求一”的结果，可得 ${\xi }_3=(0,1,0{)}^T$。 至此，我们找到了二重根 ${\lambda }_2$ 对应的两个相互正交的特征向量 ${\xi }_2$ 和 ${\xi }_3$。