ADBPG一站式实时数仓_韩述-吴梦麒（分分享）.pdf

1、PostgreSQLPostgreSQL中文社区中文社区聚焦云端创新 汇聚智慧共享阿里云-吴梦麒AnalyticDB PostgreSQL一站式实时数仓一站式实时数仓PostgreSQLPostgreSQL中文社区中文社区ADBPG实时数仓技术业务案例03未来展望04实时数仓架构0102PostgreSQLPostgreSQL中文社区中文社区目录contentscontents这是一个争分夺秒的时代竞争 赢家通吃一步快步步快时效性 商机/风控与时间赛跑自动化 智能化/自动化决策数据分析的时效性要求越来越高传统离线数仓都开始出现实时需求实时数仓业务背景PostgreSQLPostgreSQL中文

2、社区中文社区经典Lambda架构批处理（历史）+流处理（实时）Serving层需要进行数据拼接ImmutableMaster DataPrecomputeViewsBatchRecomputeBatch链路ProcessStreamIncrementViewsNew DataStreamReal-timeIncrementSpeed链路QueryServing层Lambda架构存在问题需要开发流批两条不同链路，开发成本高组件复杂链路多，数据容易不一致传统实时数仓方案PostgreSQLPostgreSQL中文社区中文社区传统Lambda和Kappa架构的痛点成本 多链路多系统部署资源成本高性能

3、 数据流转开销大研发 研发上线需要多系统开发、部署、联调运维 架构复杂，易出问题维护 数据异常排查、数据订正等复杂传统Kappa架构相比Lambda升级为全流式仅需一种链路一次业务开发目前行业趋势是基于MPP数仓构建一站式实时数仓例如开源领域目前的明星产品ClickHouse、Doris、StarRocks等阿里云AnalyticDB PostgreSQL版传统方案存在的问题PostgreSQLPostgreSQL中文社区中文社区行业趋势-分析处理一体化PostgreSQLPostgreSQL中文社区中文社区Flink Paimon为流计算增加存储，实现数仓分层SnowFlake/阿里云ADB

4、PGDynamic Table/实时物化视图在数仓内部做实时ETL处理实时写入丰富数据源支持高吞吐insert/update/delete实时处理实时物化视图仓内实时流式处理join/agg/表达式实时分析向量引擎列存加速CBO优化器DTSSDKOSSJDBCODS原始数据原始数据DWD实时MV实时MV实时MVDWS实时MV实时MV实时MVADS实时写入实时MV实时MV实时流式处理实时流式处理实时流式处理实时分析AnalyticDB PostgreSQL版一站式没有中间商赚差价一站式实时数仓-分析处理一体化PostgreSQLPostgreSQL中文社区中文社区基于实时物化视图实现仓内流式ET

5、L处理2214213414基础数据基础数据实时数据实时数据4122基础数据增量维护A join B支持的语法完备表达式：大部分PG内置表达式JOIN：inner join/outer join AGG：groupby/sum/count/min/max/avg集合操作：union all支持的功能丰富实时维护SQL结果高性能增量更新轻松数万/秒 高吞吐实时写入支持透明查询改写33实时物化视图表A表B3522AnalyticDB PostgreSQL版 实时物化视图的功能完备性和性能是与开源MPP数仓拉开差距的要点之一实时处理-实时物化视图PostgreSQLPostgreSQL中文社区中文社区

6、直接通过SQL定义支持事务保证的强一致支持秒级实时支持数据回溯（无窗口限制）支持视图的视图（级联嵌套）支持自动透明查询改写支持数万/秒 高吞吐实时写入SQL语法支持JOIN：inner join/outer join/union all聚合：sum/count/min/max/avg表达式：大部分表达式和PG内置函数CREATE INCREMENTAL MATERIALIZED VIEW mv AS SELECT*FROM A JOIN B on t1.a=t2.iBA实时MV根据A和B的变化实时增量更新结果集insert/delete/updateADBPG实时物化视图功能介绍实时、增量Po