线性代数

Linear Algebra

线性代数研究有限维向量空间之间的线性映射。选定基以后，线性映射

由矩阵 $A\in {\mathbb{F}}^{m\times n}$ 表示，向量问题转化为矩阵方程。它的两条主线是

前者研究可解性、唯一性、秩、零空间、投影和最小二乘；后者研究方阵在特殊方向上的伸缩、模态、稳定性和谱分解。若 $A:{\mathbb{F}}^n\to {\mathbb{F}}^m$，则四个基本子空间是

复数域上把 $A^T$ 改为 $A^{\ast }$。它们满足

并由秩 $r$ 给出维数

因此，本页把线性代数组织成三层：先用消元和秩理解 $Ax=b$，再用正交投影和 SVD 理解任意矩阵，最后用特征值、谱定理和矩阵分解理解方阵与结构化算子。

一、Part one

矩阵乘以向量的三个理解层次：

• First level: Only numbers 只有数字的运算
• Second level: combination of column vectors 列向量的线性组合
• Third level: Subspace 子空间的运算

线性方程组
向量
矩阵
逆矩阵

矩阵的初等变换
矩阵的秩
线性方程组的解
行列式
克拉默法则
雅可比矩阵

向量空间 范数
线性变换 线性独立
正交性 标准正交基 子空间的正交性
向量投影

二、Part Two

特征值和特征向量
对称矩阵
矩阵对角化
二次型

微分方程组
凯莱-哈密顿定理
矩阵求导
奇异值分解

三、矩阵分解

Matrix Factorizations

• $L$ $C$ Lower triangular
• $D$ Diagonal
• $U$ $C^T$ Upper triangular
• $X$ Eigenvectors
• $\mathrm{\Lambda }$ Eigenvalues
• $B$ Generalized Eigenvectors
• $J$ Jordan
• $Q$ $V$ $U$ Orthogonal
• $\Sigma$ Singular Value

三、章节学习索引

1. Introduction to Vectors

• 1.1 Vectors and Linear Combinations：向量、列向量、行向量、零向量、线性组合、张成、张成空间、向量空间。这一节把向量看成可加、可数乘的对象，并用“所有线性组合”建立直线、平面、空间和退化情形。
• 1.2 Lengths and Dot Products：向量长度、单位向量、点积、内积、向量夹角、正交性、向量投影、三角不等式、柯西-施瓦茨不等式。这一节用点积定义长度、角度和正交，是后续投影、最小二乘和正交分解的度量基础。
• 1.3 Matrices：矩阵、矩阵乘法、矩阵形式、矩阵运算、线性方程组、行图像、列图像、差分矩阵、可逆矩阵、奇异矩阵。这一节把矩阵看成把输入系数送到列组合输出的动作，并从 $Ax$ 推进到 $Ax=b$ 的逆问题。

2. Solving Linear Equations

• 2.1 Vectors and Linear Equations：线性方程组、线性方程组的解、行图像、列图像、矩阵形式。这一节把 $Ax=b$ 同时解释为方程约束、列向量组合和矩阵输入输出问题。
• 2.2 The Idea of Elimination：高斯消元、主元、消元乘子、上三角矩阵、回代、行交换。这一节把求解过程变成逐步消去未知量，并暴露主元失败、行交换和回代的必要性。
• 2.3 Elimination Using Matrices：矩阵的初等变换、消元矩阵、增广矩阵、置换矩阵。这一节用矩阵乘法表示行操作，使消元从手算步骤变成可组合的矩阵动作。
• 2.4 Rules for Matrix Operations：矩阵乘法、矩阵运算、分块矩阵、矩阵转置、逆矩阵。这一节统一矩阵乘法的行列点积、列组合、行组合、外积和分块视角。
• 2.5 Inverse Matrices：逆矩阵、可逆矩阵、奇异矩阵、高斯-若尔当消元法。这一节说明何时 $A^{-1}$ 存在，如何用 $[A\mid I]$ 求逆，以及为什么求解时常避免显式求逆。
• 2.6 Elimination = Factorization: $A=LU$：LU分解、LDU分解、下三角矩阵、上三角矩阵。这一节把消元乘子和主元组织成三角因子，是重复求解、求逆和行列式计算的结构基础。
• 2.7 Transposes and Permutations：转置矩阵、对称矩阵、置换矩阵、行交换。这一节把行列互换、内积迁移、对称结构和置换行交换放入同一套矩阵语言。

3. Vector Spaces and Subspaces

• 3.1 Spaces of Vectors：向量空间、子空间、列空间、零空间、线性组合、矩阵空间、函数空间。这一节从 ${\mathbb{R}}^n$ 推进到抽象向量空间，说明“封闭于加法和数乘”才是空间结构的关键，并把 $Ax=b$ 的可解性解释为 $b\in C(A)$。
• 3.2 The Nullspace of $A$：零空间、齐次线性方程组、自由变量、主变量、特殊解、行最简阶梯形矩阵、秩。这一节把 $Ax=0$ 的全部解组织成零空间：消元保持 $N(A)$，每个自由变量产生一个特殊解，秩 $r$ 与自由变量数 $n-r$ 共同决定解空间维数。
• 3.3 The Complete Solution to $Ax=b$：线性方程组的解、特解、通解、一致性条件、满列秩、满行秩。这一节给出 $x=x_p+x_n$ 的结构：一个满足非齐次方程的特解，加上齐次零空间中的全部自由方向，并按秩区分唯一解、无解和无穷多解。
• 3.4 Independence, Basis and Dimension：线性独立、线性相关、张成空间、基、标准基、维数。这一节把“独立且张成”固定为基的定义，说明基给出唯一坐标表示，并证明维数是所有基的共同长度。
• 3.5 Dimensions of the Four Subspaces：四个基本子空间、行空间、列空间、零空间、左零空间、行秩、列秩、秩-零度定理、线性代数基本定理。这一节把矩阵的秩、零度和四个基本子空间统一起来：行空间与零空间位于 ${\mathbb{R}}^n$，列空间与左零空间位于 ${\mathbb{R}}^m$。

4. Orthogonality

• 4.1 Orthogonality of the Four Subspaces：正交性、正交补、子空间的正交性、四个基本子空间、线性代数基本定理。这一节把行空间与零空间、列空间与左零空间升级为正交补关系，并说明 $x=x_r+x_n$ 与 $b=b_c+b_{\ell }$ 的分解。
• 4.2 Projections：正交投影、向量投影、投影定理、投影矩阵、正交误差。这一节把无法精确命中的向量分解为子空间内最近点和正交误差，核心公式是 $P=A(A^{T}A{)}^{-1}{A}^T$。
• 4.3 Least Squares Approximations：最小二乘问题、最小二乘法、正规方程、残差、数据拟合。这一节处理 $Ax=b$ 无解时的最佳近似，核心条件是 $A^T(b-A\hat{x})=0$，即残差垂直于列空间。
• 4.4 Orthonormal Bases and Gram-Schmidt：标准正交基、正交基、正交矩阵、格拉姆-施密特正交化、修正Gram-Schmidt、QR分解、Gram矩阵。这一节用 $Q^{T}Q=I$ 消去耦合，把投影、最小二乘和 $A=QR$ 分解统一起来。

5. Determinants

• 5.1 The Properties of Determinants：行列式、行列式基本性质、行列式与消元、三角矩阵行列式、行列式乘法公式。这一节把行列式定义为判断可逆性、缩放体积和追踪行操作影响的标量。
• 5.2 Permutations and Cofactors：排列、余子式、代数余子式、行列式展开。这一节从排列公式和余子式展开解释行列式的完整代数结构。
• 5.3 Cramer's Rule, Inverses, and Volumes：克拉默法则、伴随矩阵、逆矩阵的余子式公式、行列式与体积、雅可比行列式。这一节把行列式用于显式求解、求逆和几何体积计算。

6. Eigenvalues and Eigenvectors

• 6.1 Introduction to Eigenvalues：特征值和特征向量、特征方程、特征多项式、迹、复特征值。这一节研究满足 $Ax=\lambda x$ 的不变方向，是矩阵幂、稳定性和对角化的入口。
• 6.2 Diagonalizing a Matrix：矩阵对角化、特征向量矩阵、矩阵的幂、相似矩阵、几何重数与代数重数。这一节说明当特征向量足够多时，矩阵可以被化成对角形式，复杂动力学随之分解为独立标量模式。
• 6.3 Systems of Differential Equations：微分方程组、矩阵指数、稳定性、特征值和特征向量。这一节用特征值解释线性动力系统的增长、衰减、振荡与稳态。
• 6.4 Symmetric Matrices：对称矩阵、谱定理、正交特征向量、正交对角化、主轴定理。这一节说明实对称矩阵具有正交特征向量和实特征值，是二次型与正定性的核心基础。
• 6.5 Positive Definite Matrices：正定矩阵、正半定矩阵、二次型、主元判别法、顺序主子式判别法。这一节用能量、特征值、主元和子式刻画正定性。

7. The Singular Value Decomposition

• 7.1 Image Processing by Linear Algebra：奇异值分解、图像压缩、低秩近似、矩阵的秩。这一节用图像压缩展示 SVD 如何用少量主方向保留主要信息。
• 7.2 Bases and Matrices in the SVD：奇异值分解、标准正交基、正交矩阵、奇异值。这一节解释 $A=U\mathrm{\Sigma }{V}^T$ 中输入基、输出基和伸缩系数的几何意义。
• 7.3 Principal Component Analysis：主成分分析、协方差矩阵、数据降维、低秩近似。这一节把 SVD 用于数据主方向提取，连接线性代数与统计学习。
• 7.4 The Geometry of the SVD：奇异值分解、矩阵范数、低秩近似、极分解、伪逆。这一节用单位球到椭球的变形解释 SVD 的几何本质。

8. Linear Transformations

• 8.1 The Idea of a Linear Transformation：线性变换、核空间、像空间、线性算子。这一节把矩阵提升为保持加法和数乘的映射。
• 8.2 The Matrix of a Linear Transformation：线性变换矩阵、基、坐标变换、矩阵表示。这一节说明同一个线性变换在选定基后如何写成矩阵。
• 8.3 The Search for a Good Basis：基变换、矩阵对角化、Jordan矩阵、傅里叶变换、函数空间。这一节强调好基能让矩阵接近对角、分块或稀疏，从而揭示问题结构。

9. Complex Vectors and Matrices

• 9.1 Complex Numbers：复数、复平面、复共轭、欧拉公式、单位根。这一节把实线性代数扩展到复数域，使旋转、振荡和复特征值可以统一表达。
• 9.2 Hermitian and Unitary Matrices：厄米矩阵、酉矩阵、复内积、共轭转置、谱定理。这一节给出复数域中的对称矩阵和正交矩阵对应物。
• 9.3 The Fast Fourier Transform：单位根、傅里叶矩阵、离散傅里叶变换、快速傅里叶变换、范德蒙德矩阵。这一节展示傅里叶矩阵的单位根结构如何递归分解，使 DFT 从平方复杂度降到近似 $n\log n$。

10. Applications

• 10.1 Graphs and Networks：图论、关联矩阵、图拉普拉斯算符、基尔霍夫电路定律、网络流。这一节用矩阵描述节点、边、流和守恒约束。
• 10.2 Matrices in Engineering：刚度矩阵、有限差分法、有限元法、边界条件、正定矩阵。这一节展示工程系统如何自然形成稀疏线性方程组。
• 10.3 Markov Matrices, Population, and Economics：马尔可夫链、概率向量、稳态分布、佩龙-弗罗贝尼乌斯定理、主特征向量。这一节用矩阵迭代描述概率、人口和经济状态的长期行为。
• 10.4 Linear Programming：线性规划、可行域、单纯形法、对偶问题、互补松弛。这一节把线性方程、不等式和最优化联系起来。
• 10.5 Fourier Series: Linear Algebra for Functions：傅里叶级数、Hilbert空间、内积、正交基、傅里叶系数。这一节把向量空间思想推广到函数。
• 10.6 Computer Graphics：计算机图形学、齐次坐标、仿射变换、旋转矩阵与叉乘 1、透视投影。这一节用矩阵表达平移、旋转、缩放和投影。
• 10.7 Linear Algebra for Cryptography：密码学、模运算、有限域、有限向量空间、希尔密码。这一节展示有限域和模算术中的线性代数应用。

11. Numerical Linear Algebra

• 11.1 Gaussian Elimination in Practice：高斯消元、部分主元法、舍入误差、稀疏矩阵、QR分解。这一节关注消元在计算机中的稳定性、复杂度和实现问题。
• 11.2 Norms and Condition Numbers：范数、条件数、矩阵范数、病态问题。这一节衡量输入误差如何被矩阵放大，是数值稳定性的核心语言。
• 11.3 Iterative Methods and Preconditioners：固定点迭代法、雅可比迭代法、高斯-赛德尔迭代法、共轭梯度法、谱半径。这一节处理大规模线性系统，强调近似迭代和预条件结构。

12. Linear Algebra in Probability and Statistics

• 12.1 Mean, Variance, and Probability：概率、随机变量、期望、方差、正态分布。这一节把平均、波动和概率分布写成向量语言。
• 12.2 Covariance Matrices and Joint Probabilities：协方差、协方差矩阵、联合概率、随机变量的独立性、半正定矩阵。这一节用矩阵记录多变量之间的共同变化。
• 12.3 Multivariate Gaussian and Weighted Least Squares：多维正态分布、加权最小二乘法、协方差矩阵、递归最小二乘法、卡尔曼滤波。这一节把统计估计、误差权重和线性代数中的正定矩阵连接起来。

索引

定位

面向复习和查找的符号/命令概念地图：从公式、空间符号、运算法则、概率统计记号和计算工具名直接进入已有概念页。重复出现的公式按主要用途归类；同一入口在不同上下文中保留到更具体概念的别名链接。

使用时可以先按问题类型定位：要求解方程先看分解与正规方程；要判断空间关系先看四个基本子空间；要写代码先看计算包、命令名和稀疏入口。这里的公式不只是记号表，而是到概念页的导航句柄。

矩阵分解公式

• LDU分解 | $A=LDU$：把消元中的下三角因子、主元对角因子和上三角因子分开，适合连接到下三角矩阵、上三角矩阵 和主元结构。
• LU分解 | $A=LU$：把高斯消元写成三角求解流程，是求解线性方程组 和理解高斯消元 的核心分解。
• 部分主元法 | $PA=LU$：把行交换写入置换矩阵 $P$，用于稳定消元和处理主元顺序。
• QR分解 | $A=QR$：把列空间基正交化，连接标准正交基、格拉姆-施密特正交化 和最小二乘计算。
• 极分解 | $A=QS$ / $KQ$：把矩阵分成正交变换与对称正定伸缩，适合从几何变形理解一般矩阵。
• 奇异值分解 | $A=U\mathrm{\Sigma }{V}^T$：用输入正交基、奇异值和输出正交基描述任意矩阵的伸缩结构，连接低秩近似、主成分分析 和图像压缩。
• 伪逆 | $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^T$：把 SVD 中非零奇异值倒置，给出最小二乘和欠定系统中的广义逆。
• 秩一矩阵 | $A=u{v}^T$：外积形式的基本低秩块，是 SVD 展开和低秩近似的原子。
• 相似矩阵 | $A=BC{B}^{-1}$：表示同一线性变换在不同基下的矩阵形式。
• Jordan矩阵 | $A=BJ{B}^{-1}$：当特征向量不足时，用 Jordan 结构描述相似标准形。
• 矩阵对角化 | $A=X\mathrm{\Lambda }{X}^{-1}$：特征向量足够多时，把矩阵作用拆成独立标量模式。
• 矩阵的幂 | $A^k=X{\mathrm{\Lambda }}^k{X}^{-1}$：对角化后计算矩阵幂，把长期迭代行为归约到特征值幂。
• 相似矩阵 | $A=QT{Q}^{-1}$：用正交基把矩阵化成上三角相似形式，可作为 Schur 分解入口。
• 谱定理 | $S=Q\mathrm{\Lambda }{Q}^T$：对称矩阵的正交对角化，连接对称矩阵、正交对角化 和正定矩阵。
• Cholesky分解 | $S=LD{L}^T$：对称矩阵的三角分解形式，常用于正定系统、二次型和数值求解。
• Gram矩阵 | $S=A^{T}A$：列向量内积组成的对称半正定矩阵，是正规方程、SVD 和协方差结构的交汇点。

正交、投影与最小二乘核心符号

• 标准正交基 | $q_i^T{q}_j={\delta }_{ij}$：用 Kronecker delta 表示单位长度和两两正交，是 $Q^{T}Q=I$ 的逐项版本。
• 正交矩阵 | $Q^{T}Q=I$：$Q$ 的列向量标准正交；若 $Q$ 是方阵，还等价于 $Q^{-1}=Q^T$ 和 $Q{Q}^T=I$。
• 投影矩阵 | $Q{Q}^T$：当 $Q$ 是长矩阵且 $Q^{T}Q=I$ 时，$Q{Q}^T$ 是到 $C(Q)$ 的正交投影，而不是整个空间上的恒等矩阵。
• QR分解 | $R=Q^{T}A$：在 $A=QR$ 且 $Q^{T}Q=I$ 时，左乘 $Q^T$ 直接读出上三角因子。
• Gram矩阵 | $A^{T}A=R^{T}R$：QR 分解把 Gram 矩阵化为三角因子的乘积，解释最小二乘中为什么可以避免直接形成正规方程。
• 正交投影 | $A^T(b-A\hat{x})=0$：最小二乘残差与列空间正交，是正规方程的几何版本。
• 投影矩阵 | $P^2=P,P^T=P$：正交投影矩阵同时满足幂等和对称；只满足 $P^2=P$ 时未必是正交投影。

四个基本子空间符号

• 列空间 | $C(A)\subseteq {\mathbf{R}}^m$：矩阵列向量张成的输出空间，决定 $Ax=b$ 是否一致。
• 行空间 | $C(A^T)\subseteq {\mathbf{R}}^n$：矩阵行向量张成的输入方向空间，维数等于秩。
• 零空间 | $N(A)\subseteq {\mathbf{R}}^n$：齐次方程 $Ax=0$ 的全部解，给出自由变量方向。
• 左零空间 | $N(A^T)\subseteq {\mathbf{R}}^m$：列空间的正交补，刻画 $A^{T}y=0$ 的约束方向。
• 正交补 | $V^{\perp }$：与子空间 $V$ 中所有向量正交的方向集合。
• 线性代数基本定理 | $C(A^T)\perp N(A)$，$C(A)\perp N(A^T)$：四个基本子空间的正交补关系。
• 线性代数基本定理 | ${\mathbf{R}}^n=C(A^T)\oplus N(A)$：输入空间被行空间和零空间正交分解。
• 线性代数基本定理 | ${\mathbf{R}}^m=C(A)\oplus N(A^T)$：输出空间被列空间和左零空间正交分解。
• 矩阵的秩 | $r=\mathrm{rank}(A)$：四个子空间共享的核心维数，等于主元数、列空间维数和行空间维数。
• 秩-零度定理 | $\dim C(A)+\dim N(A)=n$：把列空间维数和零空间维数合并为未知量个数。
• 欧几里得空间 | ${\mathbf{R}}^n$：实向量空间的标准模型。
• 复数 | ${\mathbf{C}}^n$：复向量空间入口，后续连接复内积、厄米矩阵 和酉矩阵。
• 集合 | $\mathbf{S}\cup \mathbf{T}$：集合并，用于描述两个集合或子空间元素的合并。
• 子空间 | $\mathbf{S}+\mathbf{T}$：子空间和，表示来自两个子空间向量的所有加法组合。
• 子空间 | $\mathbf{S}\cap \mathbf{T}$：子空间交，表示同时属于两个子空间的向量集合。
• 集合 | $\mathbb{Z}$：整数集合，在模运算和有限域线性代数中常作为离散结构入口。

投影、正规方程与矩阵运算法则

• 投影矩阵 | $P=A(A^{T}A{)}^{-1}{A}^T$：把向量投到 $A$ 的列空间，连接正交投影 和最小二乘法。
• 正规方程 | $A^{T}A\hat{x}=A^{T}b$：最小二乘解的核心方程，等价于残差与列空间正交。
• 伪逆 | $x^{+}=A^{+}b$：用广义逆给出最小范数解或最小二乘解。
• Gram矩阵 | $A^{T}A$：把最小二乘、列相关性和半正定结构联系起来。
• 二次型 | $A^{T}CA$：把矩阵变换嵌入加权内积或能量表达式。
• 矩阵转置 | $(Ax{)}^{T}y=x^T(A^{T}y)$：转置把矩阵从一个内积槽移动到另一个内积槽。
• 矩阵转置 | $(AB{)}^T=B^T{A}^T$：乘积转置反转矩阵顺序。
• 逆矩阵 | $(AB{)}^{-1}=B^{-1}{A}^{-1}$：乘积求逆同样反转顺序。
• 矩阵乘法 | $(AB)C=A(BC)$：矩阵乘法满足结合律，使分块计算和复合线性变换一致。
• $[Ab]$：把系数矩阵和右端向量合并，追踪线性方程组的可解性。
• $[AI]$：把矩阵与单位矩阵合并，用行变换求逆或化简。
• 行最简阶梯形矩阵 | $R=\mathrm{rref}(A)$：消元后的规范形，用来读取主元、自由变量和零空间。
• Lp范数 | ${\ell }^1,{\ell }^{\mathrm{\infty }}$：向量大小的不同度量，分别强调绝对和与最大分量。
• 模运算 | mod $p$：把线性代数放入模 $p$ 算术，连接有限域 和密码学应用。
• NaN：数值计算中的非数值结果，常提示除零、无效运算或未定义表达式。

特征值与矩阵指数

• 特征值和特征向量 | $(A-\lambda I)x=0$：特征向量满足的齐次方程，表示 $A$ 在该方向上只做标量伸缩。
• 特征方程 | $det(A-\lambda I)=0$：特征值必须满足的行列式方程。
• 特征多项式 | $det(A-\lambda I)$：特征方程背后的多项式对象，编码特征值的代数重数。
• 矩阵对角化 | $A=X\mathrm{\Lambda }{X}^{-1}$：把矩阵作用换到特征向量坐标中。
• 矩阵的幂 | $A^k=X{\mathrm{\Lambda }}^k{X}^{-1}$：把离散时间迭代拆成各特征方向的增长、衰减或振荡。
• 矩阵指数 | $e^{At}$：连续时间线性系统的状态转移算子。
• 矩阵指数函数 | $e^{At}=X{e}^{\mathrm{\Lambda }t}{X}^{-1}$：对角化后逐个特征值指数化，用于求解线性微分方程组。
• 谱定理 | $S=Q\mathrm{\Lambda }{Q}^T$：对称矩阵的特征分解保证实特征值和正交特征向量。

概率统计符号

• 正态分布 | $\mathbf{N}(0,1)$：标准正态分布，是线性代数进入概率统计时最常见的标量分布入口。
• 期望 | $\mu$：随机变量或数据向量的中心位置。
• 方差 | ${\sigma }^2$：随机变量围绕均值的离散程度。
• 协方差矩阵 | $\mathrm{\Sigma }$：多变量随机向量的二阶相关结构，通常是对称半正定矩阵。
• 联合概率 | $P(A\cap B)$：多个事件同时发生的概率入口。
• 概率向量：非负且和为一的向量，常用于马尔可夫链 和稳态分布。
• 多维正态分布：用均值向量与协方差矩阵组织多变量高斯模型。
• 加权最小二乘：把误差权重或协方差结构并入正规方程。

向量、有限域与特殊矩阵

• 标准基 | $\mathbf{i},\mathbf{j},\mathbf{k}$：三维空间中的标准基向量。
• 叉积 | $u\times v$：三维向量产生垂直方向和有向面积的运算。
• 3 by 3 determinant：三阶行列式入口，连接体积、可逆性和叉积。
• -1,2,-1 矩阵：二阶差分或离散拉普拉斯的典型三对角结构。
• Vandermonde 结构：多项式插值和傅里叶矩阵的结构入口。
• 傅里叶矩阵：由单位根组织的复矩阵，连接快速傅里叶变换。
• 有限向量空间：模 $p$ 或有限域上的向量空间，用于编码和密码学。

计算包和代码名

基础库与计算后端

• BLAS：基础线性代数子程序，面向向量、矩阵-向量和矩阵-矩阵内核。
• LAPACK：建立在 BLAS 上的线性方程组、矩阵分解、特征值和 SVD 例程集合。
• ARPACK：大规模稀疏矩阵的少数特征值计算入口，核心思想是 Arnoldi/Lanczos 型 Krylov 子空间。
• CG：对称正定线性系统的 Krylov 迭代入口，常与预条件、共轭梯度法 和稀疏矩阵 连接。
• GMRES：一般非对称线性系统的最小残差 Krylov 入口，适合只提供矩阵-向量乘法的大问题。
• MINRES：对称但不一定正定线性系统的最小残差入口，要求保持对称结构。

语言与交互环境

• Fortran：传统高性能数值库的重要实现语言。
• Julia：面向科学计算的动态语言入口。
• Python：通用编程入口，实际数值线性代数常连接 Numpy 和 scipy。
• MATLAB：矩阵计算环境入口，许多线性代数命令以矩阵对象为中心。
• R：统计计算语言入口，适合连接概率统计和数据分析。
• Maple：符号计算系统入口。
• Mathematica：符号计算与数值计算系统入口。
• chebfun：把函数当作连续对象进行数值计算的工具入口。

分解与线性方程命令

• lu：LU 分解命令名，通常和主元置换一起出现。
• qr：QR 分解命令名，连接正交化、最小二乘和稳定基变换。
• chol：Cholesky 分解命令名，适用于对称正定矩阵。
• rref：行最简阶梯形矩阵命令名，用于读取主元、自由变量和零空间。
• solve / backslash：直接求解线性系统的命令入口，优先理解为“选择合适分解”，不是显式求逆。

谱、范数与稀疏命令

• svd：SVD 命令名，用于秩、低秩近似、伪逆和条件数。
• eig：稠密特征值和特征向量命令名。
• eigs：少数特征值命令入口，通常连接 ARPACK 或同类 Krylov 稀疏特征值算法。
• eigshow：特征向量几何效果的可视化命令名。
• norm：向量或矩阵范数命令名。
• cond：条件数命令入口，用于判断线性系统或最小二乘问题的敏感性。
• sparse：稀疏矩阵构造入口，决定后续存储、乘法、分解和迭代路线。
• amd：近似最小度排序命令名，用于稀疏矩阵重排序和减少填充。

构造、随机与绘图命令

• pascal：Pascal 矩阵生成命令名。
• toeplitz：Toeplitz 矩阵生成命令名。
• rand：随机数或随机矩阵生成命令名。
• plot2d：二维绘图命令名。

六个总入口

• Dimension Theorem：所有基的向量个数相同，维数是向量空间的内在量。
• Counting Theorem：列空间维数加零空间维数等于列数。
• Rank Theorem：列空间维数等于行空间维数，公共值称为秩。
• Fundamental Theorem：行空间与零空间、列空间与左零空间互为正交补。
• SVD：用行空间和列空间的标准正交基把任意矩阵分解为奇异值伸缩。
• Spectral Theorem：实对称矩阵可由正交特征向量对角化。

五、相关概念

图论
坐标变换

参考资料

《Introduction to Linear Algebra》第五版，清华大学出版社。