数据质量
1. 概述（Overview）
数据质量（Data Quality）是数据治理体系中最核心的子系统之一，其目标是确保数据资产在全生命周期内保持可信、可用、可控、可观测。高质量的数据是所有数据应用（BI 分析、数据中台、数据仓库、AI/ML、业务系统）的基础。
数据治理负责 提出标准与规则，而数据质量体系负责 执行、监控、反馈、改善，两者构成组织数据可信体系的双轮驱动。
2. 本质（Essence）
从更高抽象层看，数据质量的本质是：
确保数据能够稳定、可预测地反映现实世界并满足业务使用要求。
其背后包含三大核心本质：
- **反映真实性**：数据是否如实描述业务事实。
- **服务可用性**：数据是否能被下游稳定消费。
- **长期可维护性**：数据质量体系是否能随着业务、架构与组织演变自动演进。
数据质量不是单点动作，而是一个 贯穿建模、采集、集成、加工、服务、消费 的持续系统工程。
3. 核心概念模型（Conceptual Model）
数据质量体系通常包含以下核心概念模块：
3.1 数据质量维度（What）
数据行业通用的质量六维模型：
| 维度 | 描述 |
|---|---|
| 准确性 Accuracy | 数据值是否正确反映业务事实 |
| 完整性 Completeness | 数据是否缺失、字段是否齐全 |
| 一致性 Consistency | 跨系统、跨表口径是否一致 |
| 可靠性 Reliability | 数据是否随时间稳定可信 |
| 时效性 Timeliness | 数据更新是否及时不过期 |
| 有效性 Validity | 数据是否满足格式/约束/规则 |
3.2 数据质量与其他数据领域的关系（Who / Where）
- **数据治理**：提出规则 → 数据质量体系执行和监控
- **数据建模**：提供约束（主键、唯一性、枚举、关系），是质量体系的基石
- **数据集成**：是质量问题高发地带，需要检测、清洗、异常识别
- **数据处理（ETL/ELT）**：质量是稳定性的关键
- **任务调度 & 数据血缘**：提供可观测性与可追溯性
- **数据安全**：关注访问与权限，不关注内容本身
- **元数据管理**：描述和管理数据资产，是质量规则的重要来源
4. 能力体系（Capability Framework）
数据质量体系能力可抽象为“三横三纵”：
横向能力：评估 — 控制 — 监控
4.1 数据质量评估能力（Understand）
- 数据质量量化指标体系（DQI）
- 数据探查（Profiling）
- 异常模式发现（Outlier Detection）
- 数据分布监控（Distribution Tracking）
4.2 数据质量控制能力（Control）
- 准入校验（Input Validation）
- 数据清洗（Cleaning）
- 异常处理（Error Handling）
- 幂等性控制（Idempotency）
- 数据校正（Correction）
4.3 数据质量监控能力（Observe）
- 明细监控（Row-level）
- 指标监控（Field-level）
- 质量阈值 & 告警策略
- SLA/SLO 对齐
- 质量评分报告
纵向能力：规则体系 — 流程体系 — 平台体系
4.4 质量规则体系（Rule System）
包含三类规则：
- **结构规则**：类型、格式、枚举、主键唯一性
- **内容规则**：准确性、合理性、业务约束
- **跨域规则**：跨表一致性、血缘规则、口径定义
4.5 质量流程体系（Process System）
贯穿数据生命周期：
- 数据进入前 → 准入质量控制
- 数据加工时 → 处理质量控制
- 数据产出时 → 输出质量控制
- 数据消费前 → 服务质量控制
- 质量问题闭环 → 通知 → 定位 → 反馈 → 修复
4.6 质量平台体系（Platform System）
平台化要解决：
- 统一规则中心
- 多级校验框架（入口层 / 集成层 / 模型层 / 服务层）
- 实时 & 离线统一质量监控
- 策略即代码（DQ as Code）
- 与元数据、数据血缘联动
- 自动报告 & 质量大盘
5. 架构模型（Architecture Model）
数据质量体系可从“分层架构”与“数据产品架构”两类角度抽象。
5.1 数据分层架构中的质量控制
| 层级 | 数据质量职责 |
|---|---|
| 源数据层（ODS） | 源头数据探查、入库校验、基本结构质量 |
| 集成层（DWD） | 标准化、去重、清洗、跨系统一致性 |
| 建模层（DWM / DWS） | 指标一致性、约束校验、语义正确性 |
| 服务层（ADS） | 实时性校验、接口质量保证、SLA |
5.2 数据网格架构中的数据质量
数据质量在数据网格中体现为：
1. 数据质量即代码（DQ as Code）
- 规则以代码管理
- 与数据产品绑定
- 在生产、分发、消费全链路执行
2. 数据产品质量基准线
- 质量分数
- 数据成熟度
- 数据 SLA（包含延迟、可用性、完整性）
3. 平台提供统一规则引擎 & 监控框架
- 各域团队只负责业务规则
- 平台负责共性能力（校验、告警、血缘、报告）
6. 类型体系（Classification System）
从多个维度对质量问题进行分类以指导治理体系设计。
6.1 按数据特性分类（技术属性）
- **结构质量**
- **内容质量**
- **关联质量**
- **时效质量**
6.2 按业务场景分类（使用属性）
- 运营质量
- 分析质量
- 监管质量
- 算法/模型数据质量（ML/AI）
6.3 按问题形态分类（策略属性）
- 缺失（Missing）
- 错误值（Invalid）
- 离群（Outlier）
- 冲突（Conflict）
- 重复（Duplicate）
- 口径不一致（Inconsistent Definition）
7. 边界与生态（Boundary & Ecosystem）
数据质量体系与其他子领域有明确边界：
| 领域 | 区别 | 交集 |
|---|---|---|
| 数据治理 | 定标准 | 指导规则体系 |
| 数据安全 | 管权限而非内容 | 可能影响数据可用性 |
| 元数据管理 | 描述数据 | 提供规则来源、血缘、定位问题 |
| 数据建模 | 定义结构与语义 | 决定可校验性 |
| 数据处理 & 调度 | 执行流程 | 提供健康状况 / 任务影响 |
整个质量生态要求结构化协作：规则 → 校验 → 监控 → 问题闭环 → 报告 → 改进 → 治理反馈
8. 治理体系（Governance System）
8.1 质量规则治理
- 规则定义标准化（命名、格式、适用范围）
- 规则生命周期管理（创建 → 发布 → 上线 → 下线）
- 权限治理（谁能定义/修改）
8.2 质量监控治理
- SLO/SLA/SLI 指标体系
- 质量阈值
- 告警等级与升级机制
- 质量大盘与报告体系
8.3 质量改进治理
- 根因分析（RCA）体系
- 自动修复策略（Auto-Fix）
- ETL 幂等性保障（降低运维成本）
- 质量问题复盘机制
9. 演进趋势（Evolution）
未来数据质量主要呈现四大趋势：
**智能化（AI/ML）质量检测**自动发现数据异常、预测问题、生成规则。
**实时化监控（Streaming DQ）**由 T+1 → 分钟级 → 毫秒级实时质量验证。
**自动修复（Auto-Fix）**自动补全、纠正、重试、回滚、重算。
**策略即代码（DQ as Code）**质量规则成为数据产品的一部分：
- 可版本化
- 可审计
- 可自动测试
- 可自动部署
10. 选型方法论（How to Choose）
选择数据质量方案要考虑以下关键因素：
| 维度 | 评估内容 |
|---|---|
| 业务需求 | 哪些质量维度最关键 |
| 数据架构 | 实时 or 离线？湖仓一体 or DWH？ |
| 流程耦合性 | 是否需要与现有 ETL/调度深度集成 |
| 扩展性 | 是否支持规则即代码、丰富插件 |
| 成本效益 | 管理成本、计算成本、运维成本 |
| 数据治理成熟度 | 是否已有元数据/血缘系统 |
典型选型路径（通用）：
- 轻度需求 → SQL 校验 + 简单告警
- 中度需求 → 规则引擎 + 质量大盘 + 血缘关联
- 重度需求 → CDC + 实时 DQ + AI 异常检测
- 数据网格场景 → DQ as Code 平台化
11. 总结（Summary）
数据质量体系是技术、流程、组织协作共同构成的复杂系统，其核心目标是：
- 建立可信数据资产
- 为业务、分析、AI 等应用提供稳定基础
- 降低运维复杂度
- 提升组织的数据成熟度
数据质量体系的本质不是工具，而是：
标准（治理） + 规则（建模） + 执行（流程） + 平台（技术） + 改进（闭环）
高质量的数据不是自然产生的，而是被设计、构建、监控、修复、持续改进出来的。
关联内容（自动生成）
- [/数据技术/数据治理.html](/数据技术/数据治理.html) 数据治理与数据质量密切相关，数据治理定义质量规则，质量执行监控与校验，共同保障数据可信度
- [/数据技术/数据仓库.html](/数据技术/数据仓库.html) 数据仓库建设需要通过数据治理来保障数据质量和口径一致性，治理为数仓提供标准化建模与指标体系规范
- [/数据技术/数据处理.html](/数据技术/数据处理.html) 数据处理环节需遵循数据治理的质量规范，保证ETL过程中数据质量及降低运维成本，满足治理提出的规则要求
- [/数据技术/数据集成.html](/数据技术/数据集成.html) 数据集成过程需要考虑数据质量探查和安全规范，与数据治理体系结合确保数据一致性、安全性和合规性
- [/数据技术/任务调度系统.html](/数据技术/任务调度系统.html) 任务调度系统中的元数据管理与数据血缘追踪是数据治理的重要技术实现手段，保障数据质量和流程透明性
- [/数据技术/数据建模.html](/数据技术/数据建模.html) 数据建模是数据治理体系的核心组成部分，负责统一业务概念、提供数据资产地图、支撑数据质量规则和数据血缘关系
- [/数据技术/数据中台.html](/数据技术/数据中台.html) 数据中台建设常面临数据质量差的问题，需要建立完善的数据质量保障体系
- [/数据技术/推荐系统.html](/数据技术/推荐系统.html) 推荐系统的效果高度依赖于数据质量，需要建立专门的数据质量评估体系
- [/数据技术/机器学习.html](/数据技术/机器学习.html) 机器学习和数据挖掘的效果与数据质量密切相关，数据理解和数据准备是重要前提
- [/数据技术/元数据管理.html](/数据技术/元数据管理.html) 元数据管理与数据质量相互关联，元数据质量直接影响数据质量评估的准确性