{"name":"线性代数","id":"数学-线性代数","content":"# 线性代数\n\n> **核心问题**：如何用**线性结构**来表示、变换与压缩信息？\n>\n> 线性代数并不是关于\"算矩阵\"，而是关于：\n>\n> * 如何表示世界（Representation）\n> * 如何改变视角（Transformation）\n> * 如何在信息不丢失或最优丢失的前提下进行简化（Optimization & Compression）\n\n---\n\n## 一、线性代数的整体认知地图\n\n```\n线性代数的三大核心问题\n├── 表示（Representation）\n│   ├── 向量\n│   ├── 向量空间 / 子空间\n│   ├── 基、维度、秩\n│\n├── 变换（Transformation）\n│   ├── 线性映射\n│   ├── 矩阵（映射的坐标表示）\n│   ├── 核空间 / 像空间\n│\n└── 优化与压缩（Optimization & Compression）\n    ├── 投影\n    ├── 最小二乘\n    ├── PCA\n    ├── SVD\n```\n\n> **稳定认知**：所有后续方法，都是在这三类问题中反复出现的不同形式。\n\n---\n\n## 二、表示世界：向量与向量空间\n\n### 2.1 向量的本质\n\n> 向量不是“数组”，而是**可以进行线性组合的抽象对象**。\n\n向量的核心价值在于：\n\n* 可以被加权\n* 可以被叠加\n* 可以被投影到其他方向\n\n这使得向量成为：\n\n* 状态的表示\n* 特征的载体\n* 信息的最小表达单元\n\n数学上，一个向量是一组**有序标量**：\n[\n\\mathbf{x} = (x_1, x_2, \\dots, x_n)\n]\n\n---\n\n### 2.2 向量空间：为什么不是任意集合\n\n> 向量空间 = **允许线性运算的世界**。\n\n设标量域为 (F)，若集合 (V\\subseteq F^n) 满足：\n\n* 对加法封闭\n* 对标量乘法封闭\n\n则称 (V) 是 (F) 上的向量空间。\n\n**第一性原理解释**：\n\n* 封闭性保证了“组合后仍然合法”\n* 向量空间是“线性推理”得以成立的最小结构\n\n---\n\n### 2.3 子空间：结构中的结构\n\n> 子空间不是子集，而是**保留线性结构的子集**。\n\n若 (U \\subseteq V)，且 (U) 本身仍是向量空间，则 (U) 为 (V) 的子空间。\n\n子空间的意义在于：\n\n* 描述约束\n* 表示低维结构\n* 是“降维”的理论基础\n\n---\n\n### 2.4 度量、长度与角度：几何结构的引入\n\n向量本身只是代数对象，\n**一旦引入距离或内积，就获得了几何意义**。\n\n#### 距离（相似度的不同假设）\n\n* 曼哈顿距离：轴对齐世界\n* 欧氏距离：连续几何世界\n* 切比雪夫距离：最大偏差控制\n\n> 距离的选择，本质是对“世界几何形态”的假设。\n\n#### 内积与夹角\n\n内积定义了：\n\n* 长度\n* 角度\n* 正交性\n\n[\n\\cos(\\theta) = \\frac{\\langle x, y \\rangle}{|x||y|}\n]\n\n这是后续**投影、最优化、PCA**的基础。\n\n---\n\n## 三、表示能力的极限：线性无关、基与维度\n\n### 3.1 线性无关：冗余的判别标准\n\n一组向量 ({v_1, \\dots, v_n}) 若满足：\n[\na_1v_1 + \\cdots + a_nv_n = 0 \\Rightarrow a_1=\\cdots=a_n=0\n]\n\n则称其线性无关。\n\n> 本质：没有向量是“多余的”。\n\n---\n\n### 3.2 基：最小且完备的表达系统\n\n> 基 = **最小生成集 + 唯一坐标表示**。\n\n任意向量空间都存在基，且：\n\n* 任意向量都能唯一表示为基的线性组合\n* 所有基的向量个数相同\n\n这个数量称为：**维度**。\n\n---\n\n### 3.3 秩：矩阵的表达能力\n\n矩阵的秩 =\n\n* 行空间维度 = 列空间维度\n\n> 秩衡量的是：\n> **一个线性系统最多能表达多少独立信息**。\n\n---\n\n## 四、改变视角：线性映射与矩阵\n\n### 4.1 线性映射的本质\n\n> 线性映射描述的是：\n> **结构保持的变化**。\n\n映射 (f: V \\to W) 若满足：\n\n* (f(u+v)=f(u)+f(v))\n* (f(cv)=cf(v))\n\n则称为线性映射。\n\n---\n\n### 4.2 矩阵：线性映射的坐标表示\n\n> **矩阵不是数表，而是映射在某组基下的表示**。\n\n一旦选定基：\n\n* 抽象映射 → 数值矩阵\n* 映射复合 → 矩阵乘法\n\n---\n\n### 4.3 核空间与像空间\n\n* 核空间：被压缩为零的方向\n* 像空间：实际可达的输出空间\n\n它们揭示了：\n\n* 哪些信息被丢失\n* 哪些信息被保留\n\n---\n\n## 五、仿射空间：引入“位置”的线性世界\n\n> 向量空间关心方向，仿射空间关心位置。\n\n仿射空间 = 向量空间 + 平移\n\n[\nL = x_0 + U\n]\n\n这是：\n\n* 直线\n* 平面\n* 超平面\n\n的统一抽象。\n\n---\n\n## 六、求解与优化：线性系统与最小二乘\n\n### 6.1 高斯消元：解的结构分析\n\n高斯消元的意义不在“算解”，而在：\n\n* 判断是否有解\n* 判断解的自由度\n\n---\n\n### 6.2 最小二乘：投影思想\n\n> 最小二乘的本质：\n> **把观测投影到可解释的子空间上**。\n\n这引出了：\n\n* 正交投影\n* 误差最小化\n\n---\n\n## 七、压缩与表示最优性：PCA 与 SVD\n\n### 7.1 PCA 的第一性原理\n\n> PCA 的问题不是“怎么降维”，而是：\n> **在哪个坐标系下，信息最集中？**\n\nPCA 做的事情：\n\n* 寻找一组正交基\n* 使投影后的方差最大\n\n---\n\n### 7.2 SVD：最一般的线性分解\n\n> SVD 揭示了任意矩阵的本质结构。\n\n[\nA = U \\Sigma V^T\n]\n\n它统一了：\n\n* PCA\n* 低秩逼近\n* 噪声过滤\n\n---\n\n### 7.3 PCA 与 SVD 的统一视角\n\n| 维度  | PCA  | SVD    |\n| --- | ---- | ------ |\n| 出发点 | 协方差  | 原矩阵    |\n| 本质  | 正交投影 | 最优低秩分解 |\n| 目标  | 信息集中 | 结构分离   |\n\n> 二者本质上都是：\n> **在所有子空间中寻找最优表示**。\n\n---\n\n## 八、线性代数的长期价值\n\n线性代数不是工具箱，而是：\n\n* 表示学习的骨架\n* 深度学习的底层结构\n* 现代科学建模的语言\n\n> 一旦理解其抽象结构，\n> 具体算法只是自然推论。\n\n---\n\n**结束语**：\n\n> 学线性代数，不是为了记住公式，\n> 而是为了获得一种**线性看世界的能力**。\n\n## 关联内容（自动生成）\n\n- [/数据技术/机器学习.md](/数据技术/机器学习.md) 线性代数是机器学习的数学基础，特别是矩阵与向量运算在数据建模中的应用\n- [/数据技术/推荐系统.md](/数据技术/推荐系统.md) 推荐系统中的矩阵分解和SVD算法直接应用了线性代数中的降维技术\n- [/数据技术/深度学习.md](/数据技术/深度学习.md) 深度学习中的卷积神经网络使用矩阵表示图像数据并进行特征提取和降维\n- [/算法与数据结构/图.md](/算法与数据结构/图.md) 图的邻接矩阵表示法是线性代数在图论中的重要应用\n- [/软件工程/架构/Web前端/可视化.md](/软件工程/架构/Web前端/可视化.md) 计算机图形学中的线性变换、旋转、缩放等操作都基于线性代数原理\n- [/数据技术/非监督学习.md](/数据技术/非监督学习.md) 降维技术如PCA是线性代数在机器学习中的重要应用之一\n- [/数据技术/特征工程.md](/数据技术/特征工程.md) 特征向量和非负矩阵因式分解等概念直接来源于线性代数\n- [/操作系统/死锁.md](/操作系统/死锁.md) 死锁检测中的资源分配矩阵体现了线性代数在系统设计中的应用\n- [/计算机网络/网络层.md](/计算机网络/网络层.md) 网络路由中的距离矩阵算法与线性代数相关\n- [/软件工程/架构/Web前端/可视化.md](/软件工程/架构/Web前端/可视化.md) 3D图形渲染中的模型矩阵、视图矩阵等都是线性代数的应用\n","metadata":"tags: ['数学']","hasMoreCommit":true,"totalCommits":11,"commitList":[{"date":"2026-02-12T14:07:03+08:00","author":"MY","message":"doc: 整理标签","hash":"290b3e8ad18f48832ac282290238d020fc030a88"},{"date":"2025-12-26T17:13:16+08:00","author":"MY","message":"docs(数学): 重构线性代数文档内容并添加图像资源","hash":"cb43e24010f6a8f147a6d7c09572f3715d3a10bd"},{"date":"2024-01-05T16:39:43+08:00","author":"MY","message":"✏线性代数","hash":"8fecdd227d58ec1c5594fa1b184b94ddf8a3daf0"},{"date":"2024-01-04T20:07:12+08:00","author":"MY","message":"✏线性代数","hash":"726c5084d5d8a4221057143817dfdf2efd8f052b"},{"date":"2024-01-03T20:01:09+08:00","author":"MY","message":"✏线性代数","hash":"a9e0a2a2832a1961e6402a8ce43e1bcdc869a404"},{"date":"2023-10-27T20:29:48+08:00","author":"MY","message":"✏机器学习","hash":"fe95992db49d5578946185906e48c1cbb6043116"},{"date":"2023-04-12T17:26:39+08:00","author":"MY","message":"📦数学","hash":"790dcb8bb23f5e4890ae2dabbe484ba436c2efed"},{"date":"2022-11-16T20:28:46+08:00","author":"MY","message":"✏️线代","hash":"ddb492c7957c68683d5a451180970f89769e8f53"},{"date":"2022-11-14T20:14:13+08:00","author":"MY","message":"✏️线代","hash":"351230b9ac2cb419e530dd7a642541f0ff31e258"},{"date":"2022-11-13T20:19:39+08:00","author":"MY","message":"✏️线代","hash":"23c39929cf7e3265666887a349a3428853c03eee"}],"createTime":"2022-11-09T21:19:35+08:00"}