（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）
2. 内积和范数
2.1 内积的定义
从代数的角度来说，内积是两个向量之间的一种运算，其结果是一个实数。
设由两个 n n n维向量：
x = [ x 1 x 2 ⋯ x n ] , y = [ y 1 y 2 ⋯ y n ] \mathbf{x}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \cdots \\ x_{n} \end{array}\right], \mathbf{y}=\left[\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{n} \end{array}\right] x= x1x2⋯xn ,y= y1y2⋯yn
令 x ⋅ y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \mathbf{x} \cdot \mathbf{y}=x_{1} y_{1}+x_{2} y_{2}+\cdots+x_{n} y_{n} x⋅y=x1y1+x2y2+⋯+xnyn， x ⋅ y \mathbf{x} \cdot \mathbf{y} x⋅y为向量 x \mathbf{x} x和向量 y \mathbf{y} y的内积。
内积具有下列性质（其中 x , y , z \mathbf{x},\mathbf{y},\mathbf{z} x,y,z为 n n n维向量， λ \lambda λ为实数）：
- x ⋅ y = y ⋅ x \mathbf{x}\cdot\mathbf{y}=\mathbf{y}\cdot\mathbf{x} x⋅y=y⋅x；
- ( λ x ) ⋅ y = x ⋅ ( λ y ) (\lambda\mathbf{x})\cdot\mathbf{y}=\mathbf{x}\cdot(\lambda\mathbf{y}) (λx)⋅y=x⋅(λy)；
- ( x + y ) ⋅ z = x ⋅ z + y ⋅ z (\mathbf{x}+\mathbf{y})\cdot\mathbf{z}=\mathbf{x}\cdot\mathbf{z}+\mathbf{y}\cdot\mathbf{z} (x+y)⋅z=x⋅z+y⋅z；
- 当 x = 0 \mathbf{x}=\mathbf{0} x=0时， x ⋅ x = 0 \mathbf{x}\cdot\mathbf{x}=0 x⋅x=0；当 x ≠ 0 \mathbf{x}\ne\mathbf{0} x=0时， x ⋅ x > 0 \mathbf{x}\cdot\mathbf{x}>0 x⋅x>0.
2.2 范数的定义
2.2.1范数的定义
范数定义了向量空间里的距离，范数能将一组实数列表（向量）映射成一个实数，它的出现使得向量之间的比较称为了可能。（其实就是向量的长度）
如果向量 x ∈ R n x\in\mathbb{R}^{n} x∈Rn的某个实值函数 f ( x ) = ∣ ∣ x ∣ ∣ f(x)=||x|| f(x)=∣∣x∣∣满足：
- 正定性： ∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0 ∣∣x∣∣⩾0且 ∣ ∣ x ∣ ∣ = 0 ||x||=0 ∣∣x∣∣=0当且仅当 x = 0 x=0 x=0；
- 齐次性：对任意实数 α \alpha α，都有 ∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha x||=|\alpha|\cdot||x|| ∣∣αx∣∣=∣α∣⋅∣∣x∣∣；
- 三角不等式：对任意 x , y ∈ R n x,y\in\mathbb{R}^{n} x,y∈Rn，都有 ∣ ∣ x + y ∣ ∣ ⩽ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leqslant||x||+||y|| ∣∣x+y∣∣⩽∣∣x∣∣+∣∣y∣∣；
满足上述三条性质，则称 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣为 R n \mathbb{R}^{n} Rn上的一个向量范数。
2.2.2 常见的范数
常用的向量范数有：
- L1范数：也叫曼哈顿距离，其公式为 ∥ x ∥ 1 = ∑ i ∣ x i ∣ \|x\|_{1}=\sum\limits_{i}\left|x_{i}\right| ∥x∥1=i∑∣xi∣，它是一个向量中所有元素的绝对值之和；
- L2范数：也叫欧几里得距离，其公式为 ∥ x ∥ 2 = ∑ i x i 2 \|x\|_{2}=\sqrt{\sum\limits_{i} x_{i}^{2}} ∥x∥2=i∑xi2 ，对一个向量中所有元素取平方和，然后再开方。
2.3 内积的几何解释
知道范数的本质是距离之后，我们就可以从几何角度来解释内积，内积定义了向量空间里的角度。比如说，在向量空间中存在两个向量 u \mathbf{u} u和 v \mathbf{v} v，它们之间的夹角是 θ \theta θ.
u ∙ v = ∥ u ∥ ∥ v ∥ cos θ \mathbf{u} \bullet \mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\| \cos \theta u∙v=∥u∥∥v∥cosθ