{"name":"大数据","id":"数据技术-大数据","content":"# 大数据系统\n\n## 第一章｜大数据系统的第一性原理（原理总纲）\n\n### 1.1 大数据并不是\"数据大\"，而是**约束发生了变化**\n\n本质变化只有三点：\n\n1. **单机假设失效**\n\n   * 存储、计算、内存都无法纵向扩展\n2. **失败成为常态**\n\n   * 节点、磁盘、网络随时会失败\n3. **全局一致性成本急剧上升**\n\n   * 跨节点、跨机房、跨地域\n\n> 👉 大数据系统的本质：\n> **在不可靠的分布式环境中，对海量数据提供可接受的计算与访问语义**\n\n---\n\n### 1.2 所有大数据系统都在解决的四个核心问题\n\n| 问题     | 本质矛盾      |\n| ------ | --------- |\n| 数据如何放  | 分区 vs 复制  |\n| 数据如何找  | 元数据定位     |\n| 数据如何算  | 计算向数据移动   |\n| 数据是否一致 | 一致性 vs 延迟 |\n\n**4V 只是表象**，真正的矛盾是：\n\n* **规模 × 不可靠 × 一致性需求**\n\n---\n\n### 1.3 稳定知识：不可动摇的设计事实\n\n1. **数据一定要分区**\n2. **元数据一定要集中或分级**\n3. **写入一定是日志化的**\n4. **随机写一定会退化为顺序写**\n5. **强一致一定有延迟成本**\n6. **计算一定要靠近数据**\n\n> 所有系统差异，只在\"取舍点\"不同。\n\n---\n\n## 第二章｜大数据系统的抽象分层模型（认知骨架）\n\n### 2.1 抽象分层（不依赖任何具体技术）\n\n```\nL1 数据来源层\nL2 数据接入 / 传输层\nL3 数据存储层\nL4 资源与调度层\nL5 数据计算层\nL6 服务 / 查询层\nL7 业务建模与决策层\n```\n\n这不是 Hadoop 架构，而是：\n\n> **任何大规模数据系统都逃不掉的结构事实**\n\n---\n\n### 2.2 横向贯穿能力（比组件更重要）\n\n* **元数据管理**\n* **一致性与事务**\n* **调度与负载均衡**\n* **容错与恢复**\n* **治理（权限 / 血缘 / 质量）**\n\n---\n\n## 第三章｜数据存储的核心架构模式（不变规律）\n\n### 3.1 为什么 LSM Tree 成为事实标准\n\n**问题本质：**\n\n* 分布式 + 机械硬盘 + 高并发写\n\n**不变结论：**\n\n* 随机写 → 不可接受\n* 顺序写 + 后台合并 → 唯一路径\n\n**模式抽象：**\n\n```\nMemTable → WAL → SSTable → Compaction\n```\n\n**系统映射：**\n\n* BigTable\n* HBase\n* Cassandra\n* RocksDB\n\n---\n\n### 3.2 元数据分级定位：避免中心瓶颈\n\n**稳定模式：**\n\n```\nRoot → Metadata → User Data\n```\n\n**设计哲学：**\n\n* Master 不在读写路径\n* 定位成本分摊到整个集群\n\n**系统映射：**\n\n* BigTable / HBase\n* Hive Metastore\n* 分布式文件系统\n\n---\n\n## 第四章｜数据计算系统的两条主线\n\n### 4.1 批处理：吞吐优先，延迟可牺牲\n\n**核心假设：**\n\n* 数据是静态的\n* 结果允许延迟\n\n**不变模式：**\n\n* 全量扫描\n* 阶段式计算\n* 中间结果落盘\n\n**系统映射：**\n\n* MapReduce\n* Hive\n* Spark（优化 IO）\n\n---\n\n### 4.2 流处理：时间成为一等公民\n\n**本质变化：**\n\n* 数据无界\n* 计算永不结束\n\n**核心难题：**\n\n* 时间语义\n* 状态一致性\n* 精确一次\n\n**演进路径（问题驱动）：**\n\n```\nAt-least-once → Lambda → Kappa → DataFlow\n```\n\n**系统映射：**\n\n* Storm / S4（简单、但语义弱）\n* Flink（流批统一 + Exactly-once）\n\n---\n\n## 第五章｜一致性与事务：从最终一致到严格串行化\n\n### 5.1 一致性不是非黑即白\n\n| 层级    | 代价  | 代表系统          |\n| ----- | --- | ------------- |\n| 最终一致  | 延迟低 | Kafka / NoSQL |\n| 可串行化  | 成本中 | Megastore     |\n| 严格串行化 | 成本高 | Spanner       |\n\n---\n\n### 5.2 分区事务：现实世界的妥协\n\n**核心思想：**\n\n* 不需要全局一致\n* 业务天然可分区\n\n**模式抽象：**\n\n* Entity Group\n* Paxos per partition\n* 局部 ACID + 全局弱一致\n\n**系统映射：**\n\n* Megastore\n* NewSQL 架构\n\n---\n\n### 5.3 Spanner：一致性与时间的统一\n\n**关键突破：**\n\n* 将\"不确定时间\"转化为\"确定区间\"\n* 用物理时间约束逻辑时间\n\n**不变启示：**\n\n> **如果你能控制时间，你就能控制一致性**\n\n---\n\n## 第六章｜大数据平台：技术系统之外的系统\n\n### 6.1 平台的真正使命\n\n> **不是跑得动计算，而是让组织可持续使用数据**\n\n---\n\n### 6.2 不可或缺的非功能系统\n\n* 元数据系统\n* 血缘系统\n* 数据质量体系\n* 权限与审计\n* 调度与 SLA\n\n> 这些系统决定：\n>\n> * 数据是否可信\n> * 团队是否能协作\n> * 平台是否能长期演进\n\n---\n\n## 第七章｜架构选型的通用方法论（可迁移）\n\n### 7.1 架构不是选工具，而是匹配约束\n\n| 约束条件  | 架构倾向                  |\n| ----- | --------------------- |\n| 强一致事务 | NewSQL / Spanner-like |\n| 写多读少  | LSM                   |\n| 离线分析  | 批处理                   |\n| 实时决策  | 流处理                   |\n| 低维护成本 | 架构简化（Kappa）           |\n\n---\n\n### 7.2 判断一个系统是否\"先进\"的标准\n\n❌ 不是：\n\n* 新\n* 快\n* 复杂\n\n✅ 而是：\n\n* 是否减少了系统数量\n* 是否统一了语义\n* 是否降低了运维与认知成本\n\n---\n\n## 结语｜从工具到哲学\n\n> **大数据的终点不是某个系统，而是一套稳定的认知结构**\n\n当：\n\n* Hadoop 被替代\n* Spark 被替代\n* Flink 被替代\n\n真正留下的，是：\n\n* 分区思想\n* 日志哲学\n* 一致性权衡\n* 组织协作模式\n\n## 关联内容（自动生成）\n\n- [/数据技术/流处理.md](/数据技术/流处理.md) 大数据系统的核心组件之一，处理实时数据流，与批处理共同构成大数据计算的两条主线\n- [/数据技术/数据处理.md](/数据技术/数据处理.md) 详细阐述了大数据处理的各种计算模型，包括批处理和流处理，以及主流计算引擎（Spark、Flink）的架构和原理\n- [/数据技术/数据集成.md](/数据技术/数据集成.md) 涉及大数据环境下的数据采集、传输和转换，是大数据系统数据接入层的重要组成部分\n- [/数据技术/数据治理.md](/数据技术/数据治理.md) 涵盖了大数据平台中数据质量、元数据管理、权限控制等非功能性需求，是大数据平台可持续发展的保障\n- [/数据技术/数据仓库.md](/数据技术/数据仓库.md) 作为大数据分析的重要基础设施，与大数据系统在存储架构和计算模型方面有诸多共通之处\n- [/数据技术/数据架构.md](/数据技术/数据架构.md) 从架构角度阐述大数据系统的设计原则和模式，与大数据系统分层模型密切相关\n- [/数据技术/数据建模.md](/数据技术/数据建模.md) 在大数据环境下，数据建模需要考虑分布式存储和计算的特点，与大数据系统的数据存储和计算层密切相关\n- [/中间件/数据库/分布式数据库.md](/中间件/数据库/分布式数据库.md) 分布式数据库与大数据系统在分区、一致性、容错等方面有共同的设计理念，是大数据存储的重要组成部分\n- [/软件工程/架构/系统设计/分布式/分布式系统.md](/软件工程/架构/系统设计/分布式/分布式系统.md) 大数据系统本质上是分布式系统，分布式系统的理论和实践是理解大数据架构的基础\n- [/软件工程/架构/系统设计/分布式/分布式事务.md](/软件工程/架构/系统设计/分布式/分布式事务.md) 一致性问题是大数据系统和分布式事务共同面临的挑战，在大数据系统中需要考虑跨节点数据一致性\n- [/中间件/消息队列/Kafka/Kafka.md](/中间件/消息队列/Kafka/Kafka.md) Kafka是大数据生态系统中的重要组件，作为分布式日志系统，它体现了大数据系统中的日志哲学\n- [/数据技术/埋点设计.md](/数据技术/埋点设计.md) 作为大数据的数据来源，埋点设计的质量直接影响大数据系统的数据质量和分析结果\n- [/数据技术/数据中台.md](/数据技术/数据中台.md) 数据中台通常基于大数据技术构建，大数据系统的架构思想和分层模型在数据中台中有广泛应用\n- [/数据技术/推荐系统.md](/数据技术/推荐系统.md) 推荐系统是大数据的重要应用场景，依赖大数据系统提供的存储和计算能力\n- [/数据技术/数据网格.md](/数据技术/数据网格.md) 作为一种新兴的数据架构理念，数据网格与传统大数据系统在分布式数据管理方面有共通之处\n- [/数据技术/任务调度系统.md](/数据技术/任务调度系统.md) 大数据系统中的批处理和流处理任务需要依赖任务调度系统进行管理和编排\n- [/数据技术/数据质量.md](/数据技术/数据质量.md) 数据质量体系是大数据平台的重要组成部分，确保数据可信可用\n- [/数据技术/元数据管理.md](/数据技术/元数据管理.md) 元数据管理是大数据平台的\"数据\"，对大数据系统的数据定位、血缘追踪和治理至关重要\n- [/数据技术/Hadoop.md](/数据技术/Hadoop.md) Hadoop是大数据生态系统的起点，提供了大数据系统的基本架构范式\n- [/计算机网络/rpc.md](/计算机网络/rpc.md) RPC是分布式系统（包括大数据系统）中节点间通信的基础，影响大数据系统的性能和可靠性","metadata":"tags: ['数据技术', '分布式系统', '数据库']","hasMoreCommit":true,"totalCommits":20,"commitList":[{"date":"2026-02-12T14:07:03+08:00","author":"MY","message":"doc: 整理标签","hash":"290b3e8ad18f48832ac282290238d020fc030a88"},{"date":"2025-12-23T11:36:35+08:00","author":"MY","message":"docs(数据技术): 更新大数据系统文档并添加相关图片资源","hash":"2dd2f8201b6172dc52d31ebb0e84501b0462b30b"},{"date":"2023-08-28T20:16:30+08:00","author":"MY","message":"✏Spark","hash":"a3a1a28cb1276774030fc59021e19f30017a4ad8"},{"date":"2023-05-05T16:58:57+08:00","author":"MY","message":"✏大数据","hash":"66cd87f14f54bdcb9c1a4a19f69b2bb02fd1d99a"},{"date":"2023-05-04T17:25:59+08:00","author":"MY","message":"✏大数据","hash":"09f433516e67d4803466fdc41f0335d22a4a2391"},{"date":"2023-04-11T22:35:27+08:00","author":"MY","message":"✏️大数据","hash":"ea9fab4ed5112bfb28a82f1f87d62c96b57fd781"},{"date":"2023-04-09T15:22:01+08:00","author":"MY","message":"✏️大数据","hash":"8907ec08c524f617adc7eae5f0689061bc6dd904"},{"date":"2023-03-30T20:38:22+08:00","author":"MY","message":"✏️大数据","hash":"26669ad58c382d17b15ca84633a59aec5b203c6a"},{"date":"2023-03-23T21:40:02+08:00","author":"MY","message":"✏️大数据","hash":"8a5cf8e92a89a8acd4221fac3206c33eb962c3eb"},{"date":"2023-03-22T21:57:27+08:00","author":"MY","message":"更新 大数据","hash":"72a8b89285dc5c4a5942c3666d36ef703cf52ca2"}],"createTime":"2021-02-27T16:26:40+08:00"}