刘建刚-全球化视野下的多云数据架构.pdf

1、DataFunConDataFunCon#20242024快手快手Flink on k8sFlink on k8s的迁移的迁移与稳定性保障与稳定性保障演讲人：刘建刚-快手-技术专家ContentsContents目录目录快手Flink介绍大规模迁移实践稳定性保障未来规划logo0101 快手快手FlinkFlink介绍介绍发展历程 Flink生产可用改造 实时计算平台建设 公司实时化转型2018-2020 流批一体探索 易用性、稳定性、功能性深度优化2021-2022 Flink on k8s Runtime adaption 湖仓一体建设 AI场景大规模落地2023-2024整体架构应用规模

2、0202 大规模迁移实践大规模迁移实践背景公司需求 统一、高效的资源管理与调度。技术趋势 Kubernetes已发展为容器编排的事实标准。Flink发展 弹性伸缩 存算分离 Runtime adaption2018-20222018-2022 FlinkFlink onon yarnyarn 初期跟Flink结合的比较好。调度性能好，支持上万节点。可以有效地整合Hadoop生态。2023-20242023-2024 FlinkFlink onon k8sk8s 统一的云生态和丰富的应用。统一的资源管理(资源置换、混部)。更好的隔离性。架构演进核心痛点设计设计组件交互的平滑迁移用户交互的无感知开

3、发开发功能集成异常诊断测试测试如何达到上线条件。迁移迁移如何快速、批量迁移。设计挑战：挑战：1.系统组件众多，都是围绕yarn来构建。2.用户更熟悉yarn，对k8s没有概念。方案：方案：组件复用与拓展，支持逻辑上的集群、队列概念。用户接口不变，保障体验一致性。开发-组件交互开发-指标观测背景背景Metric是可观测性的重要一环，k8s metric存在以下问题：1.Flink on k8s以pod为粒度汇报指标，连接数过多。2.海量metric存在性能问题，比如Prometheus扩展性差。3.如何跟之前的metric处理保持兼容。实现实现1.通过kafkaGateWay来减少与kafka的

4、连接。2.采用clickhouse+grafana的metric处理方式。3.K8s和yarn的metric统一到kafka topic，进行统一的展示。开发-日志查看背景背景问题排查最重要的是查看日志，但是k8s存在以下问题：Pod结束后，日志也会随之消失，导致无法排查问题。Pod异常时，如何进行pod的问题诊断。实现实现我们开发了日志服务来解决用户问题排查的痛点：通过hostPath将日志存到本地磁盘，由k8s定期清理。针对常规日志，通过日志服务的web界面查看。针对重要日志，将日志采集到ES，提工具全局分析能力。另外，我们还通过日志服务为用户展示pod event事件来诊断pod异常。测

5、试确保功能完善、稳定性高、性能不回退。类型类型说明说明集成测试组合各个组件和功能，进行端到端的测试，确保整体流程顺畅。故障测试1.Flink自身，包含master、slave节点的failover。2.k8s，比如etcd、kubelet、master切主等的异常。3.集群硬件异常，包含机器假死、磁盘故障、网络异常等。性能测试1.Flink自身性能。2.K8s apiServer性能。3.K8s调度性能。回归测试为后续的新环境提供回归测试，确保快速迭代。迁移原则原则 优先选择低优、拓扑简单的作业。监控报警，出现问题及时回滚。支持批量自动迁移。选择一批作业修改作业到k8s集群重启作业并从快照恢复

6、监控作业健康度一旦出现问题及时回滚收益资源上，资源上，统一了大数据和容器云两大资源池：资源置换上，从天级降到分钟级。运维效率上，统一的机器配置能大幅降低人力成本。资源利用上，在离线混部能提高集群利用率。其他：其他：Flink层面，弹性伸缩成为趋势。用户层面，资源管理更加便捷。0303 稳定性保障稳定性保障背景易用性性能功能稳定性稳定是重中之重稳定是重中之重稳定是实时计算低延迟最重要的保障。公司核心业务的延迟要求在秒级。稳定可以减少人力损耗和资源成本，助力降本增效。稳定性保障的难点稳定性保障的难点Flink是long