7-3 翼支付数据治理实践之元数据管理.pdf

1、翼支付数据治理实践翼支付数据治理实践之元数据管理之元数据管理王平 翼支付产品总监鲍旭 翼支付资深大数据研发工程师|0101元数据的定位元数据的定位数据治理与元数据治理0202元数据治理体系元数据治理体系核心数据保障、主数据治理、数据规范体系建立、产品架构目录目录 CONTENTCONTENT|0303元数据平台技术介绍元数据平台技术介绍系统架构、元数据采集、全链路血缘0404未来展望未来展望异构数据、容灾、智能推荐|0101元数据的定位元数据的定位数据治理与元数据治理|数据治理与元数据治理通过资产元数据识别数据表价值，通过数据血缘识别任务链路，推进核心/低价值任务治理通过主数据治理及数据质量提

2、升，提升数据一致性及数据质量通过数据分类分级及数据安全治理，降低生产及大数据侧数据存储、传输和使用安全风险企业数据治理面临的核心问题企业数据治理面临的核心问题成本效率质量安全元数据在数据治理中的核心作用元数据在数据治理中的核心作用“清洁数据成就卓越运营，智慧数据驱动有效增长。”元数据是数据治理的基础设施，在数据治理过程中有着核心作用问题问题1 1：数据质量和时效不高问题问题3 3：数据治理前清后乱，难以维持问题问题4 4：数据安全风险居高不下问题问题5 5：数据开发烟囱化严重，基础数据面临多次重复建设问题问题2 2：核心数据识别困难，数据一致性差|0202元数据治理体系元数据治理体系核心数据保

3、障、主数据治理、数据规范体系建立、产品架构核心数据保障|业务核心任务提报上游依赖识别与评估任务优先级调整实施任务时效、质量监控资源分配方案：资源分配方案：项目空间：项目空间：支持多租户及资源分配，可控制每个空间的队列资源、优先级及任务最早启动时间队列划分：队列划分：核心重要一般（核心任务由数仓统一管控）资源策略：资源策略：5点前，所有资源优先核心队列任务，5点后按优先级及依赖进行资源分配任务优先级变更控制规范任务优先级变更控制规范：事业群申请-数仓评估范围-大数据领导审批-数仓实施-运维监控保障问题1：数据质量和时效不高主数据治理|通过主数据治理实现同源多用+数据质量提升，逐步建立起主数据的权

4、威。单一数据源主数据定义主数据定义数据质量稽核质量管控与提升质量管控与提升主数据集成&服务主数据应用&消费数据数据 流程流程ITIT协同协同主数据是具有高价值、跨流程、跨系统重复使用的数据，需要从基础数据中逐步识别和完善。需重点确保主数据的唯一性和权威性。主数据的质量问题直接影响数据应用的稳定性及主数据本身的推广，建立严格的数据稽核机制及质量管控策略是主数据治理成败的关键。主数据的应用遵循规范的企业流程（新增数据属于主数据范畴，不允许新建；存量进行识别排期整改），统一进行主数据集成并在元数据中标记出主数据表，再根据业务需求进行服务构建和数据消费。问题2：核心数据识别困难，数据一致性差数据规范体

5、系建立|业务团队业务团队数据仓库数据仓库生产系统生产系统DWM（公共数据集市）DWS（汇总数据层）DWD（明细数据层）ODS（贴源层）报表组装业务分析及数据探索生产DB坚持生产源头治理并行：（杜绝前清后乱）坚持生产源头治理并行：（杜绝前清后乱）1.数据安全治理（存储、传输、使用）2.生产元数据治理（库表字段命名规范统一）3.主数据识别与应用问题3：数据治理前清后乱，难以维持；问题4：数据安全风险居高不下主数据标准元数据标准数据开发规范数据权限管理规范数据安全规范数据分类分级标准稽核+通报机制产品架构|元数据查询血缘分析元数据注册数据目录产品功能管理&服务质量度量质量监测元模型元数据维护库表管理

6、元数据服务数据生命周期管理敏感数据发现数据分类分级主数据定义主数据集成&服务主数据应用&消费报表与可视化数据应用自助分析主/元数据标准数据安全规范数据开发数据资产数据总线元数据平台数据治理体系数据消费数据安全治理数据质量提升主数据治理数据规范体系基础数据治理信息架构完善数据内容治理数据规范使用数据开发规范质量改进数据平台|0303元数据平台技术介绍元数据平台技术介绍系统架构、元数据采集、全链路血缘 设计理念|1设计理念|11设计理念|1.a post-hoc system2.