函数空间

#Mathematics #LinearAlgebra #FunctionalAnalysis #ComputerScience

Function Space 函数空间

函数空间是数学中线性代数和泛函分析领域的一个基本概念，它是一个由具有某些共同性质的函数组成的集合，并且这个集合满足向量空间的公理。这意味着函数空间中的元素（函数）可以进行加法和标量乘法运算，并且这些运算满足向量空间的相应性质。

一、特殊的函数空间

函数空间可以根据其附加的结构（如范数、内积）进一步分类：

1. 赋范线性空间 (Normed Vector Space)

Normed Vector Space) 赋范线性空间是一个向量空间，其中的每个向量（函数）都配备了一个范数（norm），这个范数定义了向量的“长度”或“大小”。范数通常表示为 $| | f | |$ ，满足非负性、齐次性和三角不等式。

2. 巴拿赫空间 (Banach Space)

Banach Space) 巴拿赫空间是完备的赋范线性空间。完备性意味着空间中所有柯西序列都收敛于该空间内的某个点。许多重要的函数空间（如连续函数空间 $C [a, b]$ 、平方可积函数空间 $L^{p}$ ）都是巴拿赫空间。

3. 希尔伯特空间 (Hilbert Space)

Hilbert Space 希尔伯特空间是一类特殊的巴拿赫空间，其中定义了内积（inner product）。内积允许我们定义函数之间的“角度”和“正交性”，使得它同时也是一个欧几里得空间的推广。希尔伯特空间中的元素通常是平方可积的函数。

二、函数空间的基

在函数空间中，如果一组函数是正交的，并且可以用来表示空间中的任何其他函数，那么这组函数就构成了该空间的一个基。函数的正交性是指在一个区间内，两个或多个函数的乘积的积分为零。

\int_{a}^{b} f (x) g (x) d x = 0

那么 $f (x)$ 、 $g (x)$ 在区间 $[a, b]$ 上正交。

1. 傅里叶基 (Fourier Basis)

傅里叶基是傅里叶级数的基础，它由一组正交的三角函数组成。对于周期函数，可以在一定条件下将其分解为这些基函数的线性组合。

三角函数系：

1, \cos (x), \sin (x), \cos (2 x), \sin (2 x), \dots, \cos (n x), \sin (n x), \dots

这些函数在 $[- π, π]$ 区间上满足正交性：

\int_{- π}^{π} \sin (n x) \cos (m x) d x = 0

\int_{- π}^{π} \sin (n x) \sin (m x) d x = {\begin{cases} π & n = m 0 & n \neq m \end{cases}

\int_{- π}^{π} \cos (n x) \cos (m x) d x = {\begin{cases} π & n = m 0 & n \neq m \end{cases}

2. 勒让德基 (Legendre Basis)

勒让德多项式 $P_{n} (x)$ 构成了一个在 $[- 1, 1]$ 区间上带权函数 $w (x) = 1$ 的正交基：

1, x, x^{2} - \frac{1}{3}, x^{3} - \frac{3}{5} x, \dots

3. 切比雪夫基 (Chebyshev Basis)

切比雪夫多项式 $T_{n} (x)$ 构成了一个在 $[- 1, 1]$ 区间上带权函数 $w (x) = \frac{1}{\sqrt{1 - x^{2}}}$ 的正交基：

1, x, 2 x^{2} - 1, 4 x^{3} - 3 x, \dots

三、函数空间在计算机科学中的应用

函数空间的概念在计算机科学中，尤其是在机器学习、信号处理、图像处理和数值分析等领域有广泛应用：

机器学习：核方法（Kernel Methods）通过将数据映射到高维希尔伯特空间来解决非线性问题。
信号处理：信号可以被视为函数空间中的元素，傅里叶变换等工具将信号分解到不同的基上。
图像处理：图像可以被视为二维函数，图像压缩和处理算法常常利用函数空间的正交基。
数值分析：函数逼近、插值和数值积分等问题都涉及到函数空间。

数学
 线性代数
 泛函分析
 向量空间
 函数
 内积
 欧几里得空间
 正交性
 傅里叶级数
 机器学习
 信号处理
 图像处理
 数值分析

AI 结构化补充（2026-05-02）

定义

Function Space) 函数空间是把同一类函数当作“向量”来处理的向量空间。若所有函数都有共同定义域 $D$ ，并取实数值，则全体实值函数构成空间

F = {f : D \to R} .

函数空间中的加法和数乘按点定义：

(f + g) (x) = f (x) + g (x), (c f) (x) = c f (x) .

因此任意线性组合也是函数：

(c f + d g) (x) = c f (x) + d g (x) .

零向量是零函数 $0 (x) = 0$ 。

F 的封闭性

若 $f, g \in F$ ，则 $c f + d g$ 对每个 $x \in D$ 都给出一个实数，所以仍在 $F$ 中。全体函数空间通常是无限维的，因为它包含远多于有限个基函数能描述的函数。

例如

f (x) = x^{2}, g (x) = 5 x

是函数空间中的两个向量。它们的线性组合

3 f (x) - 4 g (x) = 3 x^{2} - 20 x

仍是同一函数空间中的向量。

要注意，函数空间里的标量数乘是 $c f (x)$ ，不是把输入改成 $f (c x)$ 。若把“数乘”错误定义为 $f (c x)$ ，会破坏标量加法的分配律：一般没有

(c + d) f = c f + d f,

因为左边是 $f ((c + d) x)$ ，右边是 $f (c x) + f (d x)$ 。

多项式空间

多项式空间是函数空间中最重要的有限维例子之一。所有次数不超过 $n$ 的实系数多项式构成

P_{n} = {a_{0} + a_{1} x + \dots + a_{n} x^{n} : a_{i} \in R} .

它是 $F$ 的子空间，因为两个次数不超过 $n$ 的多项式相加、数乘后，次数仍不超过 $n$ 。

$P_{n}$ 的一组自然基是

1, x, x^{2}, \dots, x^{n},

所以

\dim P_{n} = n + 1.

所有多项式构成的空间 $P$ 则是无限维函数空间。

边界条件要写准确：次数不超过 $n$ 的多项式构成子空间；次数恰好等于 $n$ 的多项式不构成子空间。原因是零多项式不在其中，而且两个最高次项可能相消。

函数内积与幂基的病态性

在有限维向量空间里，一组基的几何质量可以由 Gram 矩阵 $B^{T} B$ 衡量：若列向量两两正交并归一化，则 $B^{T} B = I$ ，计算最稳定。函数空间中也沿用同一思想，只是把有限求和换成积分。

实值函数在区间 $[a, b]$ 上的常用内积是

⟨ f, g ⟩ = \int_{a}^{b} f (x) g (x) d x .

复值函数在本文采用的第一变元线性约定下，需要在第二个因子上取共轭：

⟨ f, g ⟩ = \int_{a}^{b} f (x) \overset{―}{g (x)} d x .

带权内积把区间中不同位置的重要性写进权函数：

⟨ f, g ⟩_{w} = \int_{a}^{b} w (x) f (x) \overset{―}{g (x)} d x, w (x) > 0.

$ℓ^{2}$ 与 $L^{2}$ 的类比

无限长列向量

v = (v_{1}, v_{2}, v_{3}, \dots)

只有在

∥ v ∥_{ℓ^{2}}^{2} = \sum_{j = 1}^{\infty} | v_{j} |^{2} < \infty

时才属于 $ℓ^{2}$ 。函数向量的对应空间是 $L^{2} (I)$ ：若 $I = [0, 2 π]$ ，则

L^{2} (I) = {f : \int_{0}^{2 π} | f (x) |^{2} d x < \infty} .

有限维点积

v \cdot w = \sum_{j} v_{j} \overset{―}{w_{j}}

在函数空间中变成积分内积

⟨ f, g ⟩ = \int_{I} f (x) \overset{―}{g (x)} d x .

因此， $ℓ^{2}$ 控制的是系数列的平方和， $L^{2}$ 控制的是函数在区间上的能量积分；二者都排除“长度无限”的对象。例如 $(1, 1, 1, \dots)$ 不在 $ℓ^{2}$ ，而无限尖峰式的极限对象通常不在 $L^{2}$ ，因为平方积分会发散。

Fourier 展开把这两个空间连接起来。以 $[0, 2 π]$ 上的三角展开

f (x) = a_{0} + \sum_{k = 1}^{\infty} (a_{k} \cos k x + b_{k} \sin k x)

为例，若基函数正交且 $f \in L^{2} [0, 2 π]$ ，则系数满足平方可和，并有

∥ f ∥_{L^{2}}^{2} = 2 π a_{0}^{2} + π \sum_{k = 1}^{\infty} (a_{k}^{2} + b_{k}^{2}) .

把 $1, \cos k x, \sin k x$ 分别除以 $\sqrt{2 π}, \sqrt{π}, \sqrt{π}$ 后，Parseval 等式就成为“函数长度等于正交坐标长度”的无穷维版本。

多项式空间的自然幂基

1, x, x^{2}, \dots

虽然直观，却不是数值计算中的好基。以 $[0, 1]$ 上的普通内积为例，幂基的 Gram 矩阵满足

G_{i j} = ⟨ x^{i}, x^{j} ⟩ = \int_{0}^{1} x^{i + j} d x = \frac{1}{i + j + 1}, i, j \geq 0.

这正是 Hilbert 矩阵。它的特征值尺度相差极大，条件数迅速变坏，所以高次幂 $x^{n}$ 在数值上很容易接近低次幂的线性组合；用它做基时，投影、拟合和求解线性方程都会放大舍入误差。

把区间改成对称区间 $[- 1, 1]$ 后，奇偶性立刻给出一半正交性。若 $e (x)$ 是偶函数、 $o (x)$ 是奇函数，则 $e (x) o (x)$ 是奇函数，因此

\int_{- 1}^{1} e (x) o (x) d x = 0.

例如 $x^{2}$ 与 $x^{5}$ 正交，因为

\int_{- 1}^{1} x^{2} x^{5} d x = \int_{- 1}^{1} x^{7} d x = 0.

这说明“选基”不是只找线性无关函数，还要让内积结构尽量接近正交。

函数空间中的正交好基

函数空间常用的三类好基是 Fourier 基、Legendre 多项式基和 Chebyshev 多项式基。它们的共同点是：相对于合适内积具有正交性，并且能把函数的主要信息压缩到少量系数中。

Fourier 基适合周期函数，典型形式为

1, \sin x, \cos x, \sin 2 x, \cos 2 x, \dots

或复指数形式 $e^{i k x}$ 。在 $[- π, π]$ 上，不同频率的正弦和余弦彼此正交，因此一个周期函数可以按这组正交方向展开为

f (x) = a_{0} + b_{1} \sin x + a_{1} \cos x + b_{2} \sin 2 x + a_{2} \cos 2 x + \dots .

这是函数空间中的正交展开：每个系数都是 $f$ 投影到对应基函数方向得到的坐标，类似有限维向量在正交基下的坐标。特定地，第三个余弦频率的系数是

a_{3} = \frac{⟨ f, \cos 3 x ⟩}{⟨ \cos 3 x, \cos 3 x ⟩} = \frac{\int_{- π}^{π} f (x) \cos 3 x d x}{\int_{- π}^{π} \cos^{2} 3 x d x} .

有些函数的 Fourier series 很短，例如

\cos^{2} x = \frac{1}{2} + \frac{1}{2} \cos 2 x, \sin^{2} x = \frac{1}{2} - \frac{1}{2} \cos 2 x .

若 $f$ 是周期且光滑的函数，低频系数通常已经捕捉主要形状；跳变、尖角和观测噪声会把能量推入较高频率，所以高频部分常对应不连续性、快速振荡或噪声。

Legendre 多项式来自对幂基 $1, x, x^{2}, \dots$ 在 $[- 1, 1]$ 的普通内积下做 Gram-Schmidt 正交化。由于 $1$ 是偶函数、 $x$ 是奇函数，前两项已经正交。继续处理偶次项时，

x^{2} - \frac{⟨ x^{2}, 1 ⟩}{⟨ 1, 1 ⟩} 1 = x^{2} - \frac{1}{3} .

继续处理奇次项时，

x^{3} - \frac{⟨ x^{3}, x ⟩}{⟨ x, x ⟩} x = x^{3} - \frac{3}{5} x .

按这个过程继续下去，就得到一组逐次升高次数、彼此正交的多项式基；整体乘上非零常数不改变它们作为基的作用。

Chebyshev 多项式基的前几项为

1, x, 2 x^{2} - 1, 4 x^{3} - 3 x, \dots

它与 Fourier 的余弦基直接相连。令 $x = \cos θ$ ，第 $n$ 个 Chebyshev 多项式满足

T_{n} (\cos θ) = \cos n θ .

因此

T_{2} (x) = 2 x^{2} - 1, T_{3} (x) = 4 x^{3} - 3 x .

Chebyshev 基在 $[- 1, 1]$ 上对应带权内积，权函数为

w (x) = \frac{1}{\sqrt{1 - x^{2}}} .

它把多项式近似和余弦展开联系起来，常用于高精度插值、逼近和数值微分方程。函数计算中的 chebfun 思路可以看成“好基”思想的数值化：把函数近似为多项式或 Chebyshev 级数，再在稳定基的系数上做积分、求根或微分方程计算。

齐次方程给出的函数子空间

很多函数子空间可以由齐次线性条件定义。例如满足

\frac{d^{4} y}{d x^{4}} = 0

的所有函数正是三次及以下多项式：

y = a + b x + c x^{2} + d x^{3} .

因此这个解集就是 $P_{3}$ ，是函数空间的子空间。

若条件改成非齐次方程，例如 $y^{(4)} = 1$ ，解集通常不再是子空间，因为它不包含零函数，两个解相加也不会继续满足同一个非齐次右端。

线性算子与矩阵表示

函数空间中的线性变换常被称为线性算子。导数算子就是典型例子：

D (f) = f^{'} .

在多项式基 $1, x, x^{2}, x^{3}$ 下，

D (1) = 0, D (x) = 1, D (x^{2}) = 2 x, D (x^{3}) = 3 x^{2} .

一旦选定基，导数这样的函数算子也可以用矩阵表示。这说明矩阵空间、函数空间和多项式空间并不是分离主题，而是同一个向量空间语言的不同实例。

常见边界

函数空间必须先固定共同定义域和标量域。定义在不同区间上的函数不能直接相加；实函数空间和复函数空间也对应不同标量。

由齐次线性条件定义的函数集合通常是子空间，例如 $f (0) = 0$ 、 $f^{'} (0) = 0$ 或 $f^{″} + f = 0$ 。由非齐次条件或不等式定义的集合通常不是子空间，例如 $f (0) = 1$ 、 $f (x) \geq 0$ 、概率密度函数集合都不对任意线性组合封闭。

相邻概念关系

函数空间把向量空间的定义从有限维列向量推广到函数对象。多项式空间提供可计算的有限维模型，矩阵空间提供同型矩阵的有限维模型；它们的共同核心都是线性组合封闭性。函数空间中的齐次解空间对应零空间思想，非齐次解集则更接近平移后的仿射空间。