Class00.2线性代数
Class00.2线性代数
标量 vs 向量
如上图，左边是标量，右边是向量，抛去概念可以简单理解为向量就是有方向的标量。
左侧展示一个标量：一个温度计上标有 “温度 = 25°C”
右侧展示一个向量：一个箭头，表示 “速度 = 10 m/s 向右”
可以看到左侧的温度只是一个数据，右边的则则需要有指定的方向。
标量
向量的简单操作
向量的长度计算
向量
向量的和与积
向量的简单操作
向量的长度
点乘和正交
点乘
点乘也叫做内积。
两个向量 a 和 b 的点乘公式是：
其中 θ 是两向量之间的夹角。
正交
两个向量正交（orthogonal） 就是它们互相垂直，夹角为90°，此时：
区别与联系
正交 ⇨ 点乘为 0
点乘为 0 ⇨ 向量正交
点乘是一个操作，得出一个标量
正交是一种关系，由点乘结果是否为 0 来判断
非正交向量：夹角小于 90°，点乘为正
正交向量：互相垂直，点乘为 0
矩阵
简单来说，就是一个按行和列排列的数字表格。例如：
这个3行3列的数字表格就是一个矩阵。
假设你有三天的天气预报，每天记录上午、中午和下午的温度，那么你可以把这些温度写成一个矩阵：
| 上午 | 中午 | 下午 | |
|---|---|---|---|
| 第一天 | 20°C | 25°C | 22°C |
| 第二天 | 21°C | 26°C | 23°C |
| 第三天 | 19°C | 24°C | 21°C |
矩阵的简单操作
矩阵的乘法
假设有两个矩阵：
矩阵乘法的规则是：
矩阵𝐴的第𝑖行和矩阵𝐵的第𝑗列对应元素相乘再求和，得到结果矩阵的第 𝑖,𝑗个元素。
计算步骤：
计算结果矩阵 𝐶 = 𝐴×𝐵，它也是2行2列。
所以：
简单来说，矩阵乘法就是按行乘列，对应元素乘积相加，得到新矩阵的每个元素。
矩阵的数学意义
- 矩阵作为线性变换
最直观的矩阵意义是：矩阵代表一种线性变换，它把一个向量变换成另一个向量。
这个过程可以看作是把向量 𝑥从原空间映射到另一个空间（维度可能不同）。
- 几何意义（二维情况）
在二维空间中，一个 2×2 矩阵 𝐴对一个二维向量 X=(𝑥,𝑦)
做变换，会对平面上的点做如下变换：
这些都是线性变换的典型表现。
假设有矩阵
输入向量 𝑥=(𝑥,𝑦)输出是：
这表示沿 𝑥轴方向放大2倍，𝑦轴方向不变。
范数
范数（Norm）是线性代数和数学分析中用来度量向量或矩阵“大小”或“长度”的一种函数。它是从向量空间到实数的一个映射，具有一些特定的性质，用于表示向量或矩阵的“量级”。
范数的定义
在数学中，给定一个向量空间 𝑉，范数是一个函数：
对于向量𝑥∈𝑉它的范数记作||x||，必须满足以下三个公理：
1.非负性
范数总是非负的，且仅当向量为零向量时范数为 0。
2.正齐次性
缩放向量会相应缩放范数（长度）。
3.三角不等式
向量和的“长度”不超过它们长度之和。
矩阵范数
矩阵范数是用来衡量一个矩阵“大小”的工具。
就像向量范数衡量一个向量有多“长”，矩阵范数衡量的是矩阵对数据的拉伸能力、元素的整体大小或变化的幅度。
把一个矩阵看作一个变换器，它对一个向量做“变换”：
矩阵范数就告诉你：
“这个变换器最多能把输入的向量放大多少？”
Frobenius 范数
表示矩阵𝐴的Frobenius 范数。
表示对矩阵中所有元素𝐴𝑖𝑗求平方，然后求和：
即：把矩阵所有元素当成一大串数字，逐个平方后加起来。
相当于对总和开平方根。
总体类似于：
对称矩阵和反对称矩阵
对称矩阵：
反对称矩阵：
置换矩阵
3 阶单位矩阵𝐼：
我们将第 1 行和第 3 行互换，得到一个置换矩阵
这个矩阵的作用是：把任意矩阵的第 1 行和第 3 行互换。
转置矩阵
给定一个矩阵 𝐴，它的转置矩阵记作 𝐴𝑇，是将原矩阵的行变为列，列变为行所得到的新矩阵。
设矩阵𝐴是：
则它的转置矩阵 𝐴𝑇是：
正交矩阵
一个实矩阵 𝑄是正交的，当满足：
也就是说，它的转置矩阵等于它的逆矩阵。
矩阵：
转置 𝑄𝑇：
再计算 𝑄𝑇*𝑄：
确实成立，所以这个矩阵是正交矩阵。
特征向量和特征值
对一个方阵𝐴如果存在一个非零向量𝑣⃗和一个标量𝜆使得：
那么：
𝑣⃗就叫做特征向量；
𝜆就叫做对应的特征值。
只要是对称矩阵，就会有特征向量。
假设矩阵为：
