线性代数

给你三个方程、三个未知数，中学的做法是一个个消元。但如果方程有一万个呢？如果方程比未知数多、根本没有精确解呢？线性代数把”解方程”这件事换了一个看法：矩阵不是一张数字表，而是一台把向量变成向量的机器。看懂这台机器在做什么，消元、最小二乘、PCA、神经网络里的 W @ x 就都是同一件事。

前置：无。会用 numpy 更好。

矩阵乘向量：列的组合

先看一个 $2\times 2$ 的方程组：

$2x-y=0,-x+2y=3$

“行视角”是把每个方程画成平面上一条直线，解就是两线交点 $(1,2)$。这在二维很直观，到了十维就画不出来了。

Strang 更喜欢”列视角”。把方程写成

$x\left[\begin{array}{c}2\\ -1\end{array}\right]+y\left[\begin{array}{c}-1\\ 2\end{array}\right]=\left[\begin{array}{c}0\\ 3\end{array}\right]$

问题变成：两根列向量各取多少份，加起来恰好等于右边的 $b$？这就是 $Ax=b$ 的真正含义。$Ax$ 是 $A$ 的列的线性组合，系数是 $x$ 的分量。

import numpy as np
A = np.array([[2., -1.], [-1., 2.]])
x = np.array([1., 2.])
# 两种算法结果一样，但第二种才是"列视角"
print(A @ x)
print(x[0] * A[:, 0] + x[1] * A[:, 1])

输出：

[0. 3.]
[0. 3.]

这个看法马上带来一个问题：对所有 $b$ 都能解吗？只要两列不共线，它们的组合能铺满整个平面，答案是能。如果两列共线（比如第二列是第一列的 3 倍），组合只能落在一条直线上，大多数 $b$ 无解。”$A$ 的列的所有组合”有个名字，叫列空间 $C(A)$。$Ax=b$ 有解，当且仅当 $b\in C(A)$。

矩阵乘矩阵也用同样的眼光看。$AB$ 的第 $j$ 列等于 $A$ 乘 $B$ 的第 $j$ 列，也就是 $A$ 的列按 $B$ 第 $j$ 列给的系数组合。所以 $AB$ 的每一列都在 $C(A)$ 里。还有一种拆法同样有用：AB = \sum_k (\text{A$的第$k 列})(\text{B$的第$k 行})，即若干个秩 1 矩阵之和。后面讲 SVD 时会再用到它。

顺带一提，矩阵乘法不满足交换律：$AB$ 和 $BA$ 一般不相等，甚至形状都可能不同。从变换的角度看这很自然，“先旋转再拉伸”和”先拉伸再旋转”是两件不同的事。但它满足结合律 $(AB)C=A(BC)$，这条性质在工程上很值钱：同样的结果，括号加在不同位置，计算量可能差几个数量级。比如 $A$ 是 $1000\times 1000$、$B$ 是 $1000\times 1000$、$x$ 是一个向量，先算 $Bx$ 再算 $A(Bx)$ 只要两次矩阵乘向量，约 $4\times 10^6$ 次运算；先算 $AB$ 则要约 $2\times 10^9$ 次。反向传播从输出往输入逐层乘雅可比矩阵，就是在利用这一点。

一个矩阵也可以看成一个线性变换：它把空间里每个向量搬到新的位置，同时保持直线还是直线、原点不动。$A$ 的第一列就是基向量 $e_1$ 被送到的位置，第二列是 $e_2$ 被送到的位置。知道了基向量去哪，任何向量去哪都确定了，这就是为什么一个矩阵能完整描述一个线性变换。神经网络里的一层 y = W @ x，就是先做一个这样的变换，再接非线性（见 从线性回归到神经网络）。

停一下，检查理解单选

A 是 3×2 矩阵，两列线性无关。关于 Ax = b，哪个说法对？

对任意三维 b 都恰好有一个解只有 b 落在两列张成的平面上时才有解，有解时解唯一一定有无穷多解，因为方程比未知数多无论 b 是什么都无解

检查答案

消元：计算机怎么解方程

列视角告诉我们解是否存在，但还没告诉我们怎么求。计算机用的是高斯消元，这和中学的做法一样，只是组织得更整齐。

取

$A=\left[\begin{array}{ccc}2& 1& 1\\ 4& -6& 0\\ -2& 7& 2\end{array}\right]$

第一步用第 1 行消掉下面两行的第一列：第 2 行减去 2 倍第 1 行，第 3 行加上 1 倍第 1 行。第二步用新的第 2 行消第 3 行的第二列。最后得到上三角矩阵 $U$，从最后一个方程往回代就能解出所有未知数。

每一次”第 $i$ 行减去 ${\ell }_{ij}$ 倍第 $j$ 行”都是左乘一个初等矩阵。把这些乘数 ${\ell }_{ij}$ 收集起来，正好放在一个下三角矩阵 $L$ 的对应位置，于是

$A=LU$

这件事的好处是：$L$ 和 $U$ 只依赖于 $A$。如果要对同一个 $A$ 解很多个不同的 $b$，只要分解一次（约 $\frac{2}{3}{n}^3$ 次浮点运算），之后每个 $b$ 只需要两次三角回代（约 $2n^2$）。

import numpy as np
A = np.array([[2., 1, 1], [4, -6, 0], [-2, 7, 2]])
 
def lu(A):
    # 不做行交换的教学版；主元为 0 时会坏，正好说明为什么需要 pivoting
    n = len(A); U = A.copy(); L = np.eye(n)
    for j in range(n):
        for i in range(j + 1, n):
            L[i, j] = U[i, j] / U[j, j]
            U[i] -= L[i, j] * U[j]
    return L, U
 
L, U = lu(A)
print(L); print(U)
print(np.allclose(L @ U, A))

输出：

[[ 1.  0.  0.]
 [ 2.  1.  0.]
 [-1. -1.  1.]]
[[ 2.  1.  1.]
 [ 0. -8. -2.]
 [ 0.  0.  1.]]
True

$U$ 的对角线 $2,-8,1$ 叫主元。这个函数在主元为 0 时会除以零；主元很小时会把舍入误差放大。实际的库（LAPACK、np.linalg.solve）会做部分主元选择：每一列挑绝对值最大的元素换到主元位置，于是分解变成 $PA=LU$，$P$ 是置换矩阵。

主元也回答了”可不可逆”的问题：消元后 $n$ 个主元全非零，$A$ 就可逆；有一列找不到非零主元，说明这一列能被前面的列组合出来，$A$ 是奇异的。行列式 $\det A$ 就是主元的乘积（再乘上行交换带来的 $\pm 1$），上面这个例子是 $2\times (-8)\times 1=-16$。行列式的几何意义是变换对体积的缩放倍数：$|\det A|=16$ 表示单位立方体被映成体积 16 的平行六面体，$\det A=0$ 表示空间被压扁了一维。

实际计算里几乎从不显式求 $A^{-1}$。解 $Ax=b$ 时用 np.linalg.solve，它内部就是 LU 分解加回代，比先求逆再乘更快也更准。

四个子空间：解长什么样

消元做到底，能把任意 $m\times n$ 矩阵化成行最简形 $R$。数一数主元个数，就得到矩阵最重要的一个数：秩 $r$。秩是线性无关列的最大个数，也等于线性无关行的最大个数。

看一个秩不满的例子：

$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$

第三行等于前两行之和，第二列是第一列的 2 倍，所以秩是 2。四个未知数、两个有效方程，必然有两个自由变量。

import numpy as np
A = np.array([[1., 2, 2, 2], [2, 4, 6, 8], [3, 6, 8, 10]])
print("rank:", np.linalg.matrix_rank(A))
# 零空间的一组基：SVD 里奇异值为 0 的右奇异向量
_, s, Vt = np.linalg.svd(A)
N = Vt[2:].T
print("singular values:", s.round(4))
print("A @ N ≈ 0:", np.allclose(A @ N, 0))

输出：

rank: 2
singular values: [18.4656  1.0102  0.    ]
A @ N ≈ 0: True

$Ax=0$ 的所有解组成零空间 $N(A)$，维数是 $n-r=2$。$Ax=b$ 的通解是”一个特解 + 零空间里任意向量”，因为零空间里的向量被 $A$ 送到 0，加上它不改变 $Ax$。

Strang 把每个矩阵配上四个子空间：

子空间	住在哪	维数
列空间 $C(A)$	${\mathbb{R}}^m$	$r$
零空间 $N(A)$	${\mathbb{R}}^n$	$n-r$
行空间 $C(A^T)$	${\mathbb{R}}^n$	$r$
左零空间 $N(A^T)$	${\mathbb{R}}^m$	$m-r$

维数的两条等式（$r+(n-r)=n$，$r+(m-r)=m$）叫秩-零化度定理。更深的一层是正交：行空间和零空间在 ${\mathbb{R}}^n$ 里互相垂直，列空间和左零空间在 ${\mathbb{R}}^m$ 里互相垂直。原因直接来自定义：$Ax=0$ 说的正是 $x$ 和 $A$ 的每一行点积为 0。

于是 $A$ 做的事可以这样描述：任何输入 $x$ 拆成行空间分量和零空间分量，零空间分量被直接压成 0，行空间分量被一一对应地送到列空间。$A$ 在行空间和列空间之间是一个可逆的映射，这是理解伪逆和 SVD 的钥匙。

停一下，检查理解多选

A 是 5×3 矩阵，秩为 2。下面哪些成立？

零空间的维数是 1左零空间的维数是 3列空间是 R^5 的一个 3 维子空间Ax = b 对某些 b 无解

检查答案

正交与投影：没有解时找最好的解

现实中的方程组常常没有解。测了 100 个点想拟合一条直线 $y=c+dt$，100 个方程、2 个未知数，$b$ 几乎不可能恰好落在 $A$ 的列空间里。

既然 $Ax=b$ 解不出来，退而求其次：在列空间里找离 $b$ 最近的点 $p=A\hat{x}$。几何上，最近点就是 $b$ 往列空间做垂线的垂足，误差 $e=b-A\hat{x}$ 必须垂直于列空间，也就是垂直于 $A$ 的每一列：

$A^T(b-A\hat{x})=0⟹A^{T}A\hat{x}=A^{T}b$

这就是正规方程。投影矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$ 把任何向量投到列空间上，它满足 $P^2=P$（投两次和投一次一样）。

拿三个点 $(0,6),(1,0),(2,0)$ 拟合直线：

import numpy as np
t = np.array([0., 1, 2]); b = np.array([6., 0, 0])
A = np.column_stack([np.ones(3), t])
xhat = np.linalg.solve(A.T @ A, A.T @ b)
e = b - A @ xhat
print("c, d =", xhat)
print("误差 e =", e)
print("A^T e =", (A.T @ e).round(12))  # 误差与每一列正交
print("lstsq:", np.linalg.lstsq(A, b, rcond=None)[0])

输出：

c, d = [ 5. -3.]
误差 e = [ 1. -2.  1.]
A^T e = [0. 0.]
lstsq: [ 5. -3.]

最佳直线是 $y=5-3t$，误差向量 $(1,-2,1)$ 与两列都正交。最小二乘就是一次投影，从线性回归到神经网络 里的线性回归在没有正则化时解的正是这个方程。

正规方程在数值上有缺点：$A^{T}A$ 的条件数是 $A$ 的平方，列接近共线时误差会被放大。更好的办法是先把 $A$ 的列变成标准正交的。

标准正交向量 $q_1,\dots ,q_n$ 两两垂直、长度为 1，排成矩阵 $Q$ 满足 $Q^{T}Q=I$。有了它，投影公式退化成 $P=Q{Q}^T$，最小二乘变成 $\hat{x}=Q^{T}b$，不需要解任何方程。Gram-Schmidt 正是把任意一组无关向量变成标准正交向量的过程：每来一个新向量，减去它在已有方向上的投影，剩下的部分归一化。把这个过程记下来就是 $A=QR$ 分解，$R$ 是上三角。np.linalg.lstsq 用的是 QR 或 SVD 而不是正规方程。

正交矩阵还有一个性质：$\Vert Qx\Vert =\Vert x\Vert$，它只旋转或反射，不拉伸。这在数值计算里很宝贵，因为误差不会被放大。

停一下，检查理解单选

最小二乘解要求误差 e = b - A x̂ 满足什么？

e = 0e 与 b 正交e 与 A 的每一列正交e 的每个分量绝对值相同

检查答案

特征值：找到不被转向的方向

到目前为止研究的是 $Ax=b$，一个”静态”问题。另一类问题是”动态”的：反复乘同一个矩阵，$u_{k+1}=A{u}_k$，一百步之后会怎样？直接算 $A^{100}$ 太蠢，我们需要一个看法让矩阵的幂变简单。

大多数向量被 $A$ 作用后会改变方向。但有一些特殊方向，$A$ 只把它拉长或缩短：

$Ax=\lambda x$

$x$ 是特征向量，$\lambda$ 是特征值。沿着这个方向，乘 100 次 $A$ 就是乘 ${\lambda }^{100}$。如果 $n\times n$ 矩阵有 $n$ 个无关的特征向量，把它们排成 $S$，就有 $A=S\Lambda S^{-1}$，于是 $A^k=S{\Lambda }^k{S}^{-1}$，只需要对对角线上的数取幂。

斐波那契数列是经典例子。$F_{k+2}=F_{k+1}+F_k$ 写成 $u_{k+1}=A{u}_k$，其中 $A=\left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]$。

import numpy as np
A = np.array([[1., 1], [1, 0]])
# A 对称，用 eigh 得到实特征值（升序）和正交特征向量
lam, S = np.linalg.eigh(A)
print("特征值:", lam)
# 大的特征值主导长期行为：F_k ≈ φ^k / √5
k = 30
Ak = S @ np.diag(lam**k) @ S.T  # 正交矩阵的逆就是转置
print("F_30 via eig:", round(Ak[0, 1]))
print("φ^30/√5   :", lam.max()**k / np.sqrt(5))

输出：

特征值: [-0.61803399  1.61803399]
F_30 via eig: 832040
φ^30/√5   : 832040.0000002412

两个特征值是 $\frac{1\pm \sqrt{5}}{2}$。$|{\lambda }_2|<1$ 的那部分每步都在衰减，所以 $F_k$ 很快就由黄金比例 ${\phi }^k$ 主导。这个思路推广开来：长期行为由绝对值最大的特征值决定。这也是幂迭代的原理（PageRank 就是求一个巨大矩阵的主特征向量），也是 RNN 梯度消失/爆炸的数学根源：反复乘同一个权重矩阵，特征值大于 1 的方向指数爆炸，小于 1 的方向指数衰减（见 序列模型与注意力的起源）。

特征值怎么求？$Ax=\lambda x$ 有非零解意味着 $A-\lambda I$ 奇异，即 $\det (A-\lambda I)=0$。这是一个 $n$ 次多项式，但这只适合手算小矩阵。数值库用的是 QR 算法这样的迭代法。两个不用算的检查：特征值之和等于迹（对角线之和），特征值之积等于行列式。斐波那契矩阵的迹是 1，行列式是 $-1$，两个特征值 $1.618$ 和 $-0.618$ 正好满足。

并不是所有矩阵都能对角化。$\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$ 只有一个特征方向；旋转矩阵的特征值是复数。但有一类矩阵总是表现完美：

对称矩阵 $A=A^T$ 的特征值都是实数，特征向量可以选成两两正交，于是 $A=Q\Lambda Q^T$（谱定理）。如果所有特征值都为正，就叫正定矩阵，等价于对任意非零 $x$ 有 $x^{T}Ax>0$。$x^{T}Ax$ 是一个二次函数，正定说明它的图像是一个向上开口的碗，有唯一的最低点。优化里，损失函数在极小值附近的 Hessian 是正定的；Hessian 最大和最小特征值之比（条件数）越大，碗越扁，梯度下降越容易来回震荡。协方差矩阵 $A^{T}A$ 至少是半正定的，因为 $x^T{A}^{T}Ax=\Vert Ax{\Vert }^2\ge 0$。

停一下，检查理解单选

矩阵 A 的特征值是 0.5 和 1.2，从一个一般的初始向量开始反复做 u = A @ u，很多步之后会怎样？

收敛到 0，因为有一个特征值小于 1长度按约 1.2^k 增长，方向趋向 1.2 对应的特征向量在两个特征向量之间来回摆动保持长度不变，只改变方向

检查答案

SVD：每个矩阵都是旋转、拉伸、旋转

特征分解有两个限制：只对方阵有意义，而且不一定存在。数据矩阵（1000 个样本 × 50 个特征）是长方形的，我们需要一个对任何矩阵都成立的分解。

奇异值分解说：任何 $m\times n$ 矩阵都可以写成

$A=U\Sigma V^T$

$U$（$m\times m$）和 $V$（$n\times n$）是正交矩阵，$\Sigma$ 是对角线上为 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$ 的长方形对角阵。几何上：$V^T$ 先旋转输入，$\Sigma$ 沿坐标轴拉伸，$U$ 再旋转输出。任何线性变换都把单位圆映成一个椭圆，${\sigma }_i$ 就是椭圆的半轴长。

它和前面所有内容都接上了。$V$ 的列是 $A^{T}A$ 的特征向量，$U$ 的列是 $A{A}^T$ 的特征向量，${\sigma }_i^2$ 是对应的特征值。非零奇异值的个数就是秩 $r$；$V$ 的前 $r$ 列是行空间的标准正交基，后 $n-r$ 列是零空间的基，$U$ 同理给出列空间和左零空间的基。四个子空间一次全部拿到。

按”列乘行”展开，

$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_r{u}_r{v}_r^T$

每一项是秩 1 矩阵，按重要性从大到小排好了。只保留前 $k$ 项，得到的 $A_k$ 是所有秩不超过 $k$ 的矩阵里离 $A$ 最近的（Eckart–Young 定理），误差的谱范数恰好是 ${\sigma }_{k+1}$。

import numpy as np
rng = np.random.default_rng(0)
# 构造一个"本质上是秩 3"的 100x80 矩阵，再加一点噪声
A = rng.normal(size=(100, 3)) @ rng.normal(size=(3, 80)) + 0.01 * rng.normal(size=(100, 80))
U, s, Vt = np.linalg.svd(A, full_matrices=False)
print("前 6 个奇异值:", s[:6].round(3))
for k in [1, 2, 3, 10]:
    Ak = U[:, :k] * s[:k] @ Vt[:k]
    rel = np.linalg.norm(A - Ak) / np.linalg.norm(A)
    print(f"k={k:2d}  相对误差={rel:.4f}  参数量={k*(100+80)} vs {100*80}")

输出：

前 6 个奇异值: [100.118  87.259  85.266   0.182   0.178   0.175]
k= 1  相对误差=0.7730  参数量=180 vs 8000
k= 2  相对误差=0.5403  参数量=360 vs 8000
k= 3  相对误差=0.0055  参数量=540 vs 8000
k=10  相对误差=0.0047  参数量=1800 vs 8000

前三个奇异值远大于其余（其余只是噪声），保留 3 项就把相对误差降到约 0.5%（已经是噪声水平，再加到 10 项也几乎不再下降），存储只要原来的 7%。这个”大部分信息集中在少数方向上”的现象在真实数据里极常见，于是有了一串应用：

• PCA：把数据中心化后做 SVD，$V$ 的前几列就是方差最大的方向，投影上去就是降维。
• 伪逆：$A^{+}=V{\Sigma }^{+}{U}^T$（非零 $\sigma$ 取倒数），对任何矩阵给出最小范数的最小二乘解，np.linalg.pinv 就是这么算的。
• 条件数：${\sigma }_1/{\sigma }_r$ 衡量解方程时误差会被放大多少倍。
• 低秩近似：LoRA 微调把权重更新限制成 $BA$ 两个瘦矩阵的乘积，背后的假设正是”更新矩阵是近似低秩的”（见 后训练）。

停一下，检查理解多选

关于 A = U Σ V^T，哪些说法正确？

对任何形状的实矩阵都存在非零奇异值的个数等于 A 的秩奇异值就是 A 的特征值截断到前 k 项得到的是最优的秩 k 近似

检查答案

线性代数与机器学习

回头看，机器学习里的矩阵计算几乎都落在上面几节里：

场景	背后的线性代数
全连接层 y = W @ x	线性变换；输出是 W 列的组合
一个 batch 的前向	矩阵乘矩阵，GPU 上的 GEMM
线性回归闭式解	投影与正规方程
注意力分数 $Q{K}^T$	所有 query 与 key 的点积表，见 Transformer 架构
PCA、embedding 降维	SVD
LoRA	低秩分解
优化难易	Hessian 的条件数
RNN 梯度爆炸/消失	反复乘矩阵，特征值决定增长

还有一个容易忽略的工程事实：矩阵乘法 $m\times k$ 乘 $k\times n$ 需要 $2mkn$ 次浮点运算，它是现代 AI 硬件优化的头号目标。为什么矩阵乘能跑满 GPU 而逐元素加法不能，是 资源核算与 Scaling Laws 里算术强度要回答的问题。

停一下，检查理解单选

一个形状为 (4096, 4096) 的权重矩阵，用秩 16 的 B @ A 来表示它的更新，参数量大约是原来的多少？

一半十六分之一不到百分之一一样多，因为 B @ A 还是 4096×4096

检查答案

记住这三件事

1. $Ax$ 是 $A$ 的列的线性组合；$Ax=b$ 有解当且仅当 $b$ 在列空间里，解的自由度由零空间决定。
2. 没有精确解时，最小二乘就是把 $b$ 投影到列空间，误差垂直于每一列。
3. 特征值决定反复作用的长期行为；SVD 对任何矩阵成立，按重要性把它拆成秩 1 矩阵之和，截断即最优低秩近似。

延伸阅读

• MIT 18.06 Linear Algebra（Gilbert Strang，OCW）
• Gilbert Strang,《Introduction to Linear Algebra》第 5/6 版，以及论文 The Fundamental Theorem of Linear Algebra
• 3Blue1Brown：线性代数的本质（几何直觉）
• MIT 18.065 Matrix Methods in Data Analysis（SVD、低秩与 ML）
• Trefethen & Bau,《Numerical Linear Algebra》（QR、条件数、数值稳定性）