作业帮云原生实践之路.pdf

1、作业帮云原生实践之路董晓聪作业帮基础架构负责人Contents目录01为什么要选择云原生02作业帮云原生四部曲03未来展望为什么选择云原生01作业帮教育科技（北京）有限公司成立于2015年，一直致力于用科技手段助力教育普惠，运用人工智能、大数据等前沿技术，为学生提供更高效的学习解决方案。业务介绍技术现状规模化复杂化数十万数千数万业务应用业务实例计算核数PHPGolangJavaC+NodeJs多语言栈luaPython多云稳定性成本效率“云原生，用基础设施接管非功能逻辑。是企业解决质量、安全、效率、成本问题的最短路径”作业帮云原生四部曲02架构全貌资源管理作业编排作业调度容器镜像计算网络存储服

2、务通信服务注册发现流量管控服务感知以Docker+K8s为代表的容器技术GolangPHPC+JavaPythonNodeJsLua微服务治理体系资源层应用层1、IDC上云2、容器化改造3、弹性资源应用4、服务治理容器化改造构建原则拒绝富容器、特权容器无状态且不可变最简原则WEB检索/AI组件自研调度器96.5%+Golang、PHP统一框架其他语言标准编排模版计算规模 十万核级别、数据规模数百TB、指标要求高Fluid+JindoRuntime存算分离 100%AI服务容器化CPU调度，更均衡，万核级别在离线混部GPU调度，基于Ray的训推一体Windows容器，Office文档处理RTC、

3、MQTT、SIP数据存储proxy，MySQL、Redis、ESServerless存在典型的波峰波谷（高峰负载近60%，低峰10%）高峰持续时间较短（约4小时）假设：包年包月服务器每小时成本为C，使用serverless每小时成本为1.5C。全部使用包年包月服务器的总成本为 C*24=24C保留70%的自有服务器，高峰期增加30%的Serverless来应对，此时的总成本为：C*24*0.7+1.5C*4*0.3=18.6C结论：使用serverless可降低成本：(24C-18.6C)/24C=22.5%业务特点成本计算Serverless部分密集计算服务强隔离性来规避服务相互影响初步尝试

4、2020202120222023定时任务，数千个周期性提升资源利用率进一步探索检索成本削峰核心应用RTC全面落地Serverless调度优化自定义调度器扩容，预测推荐+人工调整缩容，优先虚拟节点观测优化对接Log、Trace、Metric使用自定义内核排查工具微服务治理体系Service 1Service 2Logging、Tracing、Metric注册中心安全稳定特征发现注册服务感知服务注册发现通信协议流量管控微服务治理体系KafkaingesterLocal StoreLog searchRemoteSearchLocal SearchRedisObject StoreArchive S

5、tore日志分块元数据索引ChunkChunkChunkChunk数据沉降分布式查询成本：ES 1/10检索效率：1TB 5sServiceMesh容器业务进程业务代码RPCSDKMQSDKKMSSDKZOSSDKMESH 进程认证流控加密对象存储MQ策略其他服务mesh-proxy 3.0代理 RPC 类通用需求代理 对象存储请求代理 MQ 请求代理 数据库 加密请求“从物理机到虚拟机再到云原生，底层基础技术对上层应用赋能的边界在不断提升，业务研发越来越从底层事物中抽离，聚焦于本身的业务逻辑。”未来展望MultiRuntime云原生安全新挑战数据存储SDK其他能力增强网络边界弱化AIGC业务新场景THANKS