千万Feeds流系统的存储技术揭秘-飞天技术汇（17页）.pdf

1、千万Feeds流系统的存储技术揭秘高级技术专家 木洛飞天技术汇-存储和数据库专场概念介绍Feeds流系统架构TableStore Timeline概念介绍 FeedFeed：实时消息：实时消息 FeedsFeeds流：实时流：实时推送推送的的有序有序的可的可扩散扩散的消息流的消息流 消息排序：时间线、消息排序：时间线、RankRank基本概念常见Feeds应用朋友圈功能需求功能需求 人与人之间组建好友关系人与人之间组建好友关系 朋友圈用于查看好友圈内的人发送的所朋友圈用于查看好友圈内的人发送的所有消息，按更新时间排序有消息，按更新时间排序 广告系统可向朋友圈内插入广告消息广告系统可向朋友圈内插

2、入广告消息 个人相册用于查看个人发送的所有消息个人相册用于查看个人发送的所有消息Feeds流系统架构系统架构端端 发送和接收消息发送和接收消息接入层接入层 一组无状态消息服务器一组无状态消息服务器 直接与后台服务通信直接与后台服务通信后台服务后台服务 消息系统消息系统：对消息做持久化；：对消息做持久化；根据好友关系将消息同步给所根据好友关系将消息同步给所有好友有好友 广告系统广告系统：根据人群画像，定：根据人群画像，定向广告投放向广告投放系统设计要点数据特征读多写少（100：1）简单模型弱关系型波峰波谷式访问消息存储在线永久存储，高可靠海量消息（PB级，万亿行）消息同步海量消息（千万TPS）实

3、时、多端同步同步模型：写扩散 vs 读扩散NoSQL解决方案传统关系型数据库表格存储（分布式NoSQL）容量TB 10PB服务能力十万TPS千万TPS分布式支持分库分表原生支持售卖模式按规格计费按量计费数据模型关系型，强Schema弱关系型，弱SchemaTableStore Timeline Timeline 每个消息拥有一个顺序ID（SeqId），保证SeqId的递增性。支持根据某个SeqId进行随机定位，正序或逆序读取特定范围内的数据。消息推送和消息存储使用相同的模型Timeline模型TableStore（分布式NoSQL数据库）BigTable模型LSM存储引擎（极大优化写）容量型提

4、供低成本存储，高性能型提供低延迟读PB级存储，毫秒级延迟消息存储库存储每个人的个人相册数据PB级数据低成本永久存储消息同步库写扩散写入消息到用户收件箱，要求提供高并发写及低延迟读存储每个用户的收件箱数据，数据生命周期为半年基于Timeline的消息系统 低成本、海量数据存储：PB级数据存储，提供数据生命周期管理。高并发、低延迟读：毫秒级消息写入和同步延迟，支持千万TPS。简易编程模型：提供简单的抽象模型（TableStore Timeline），理解和实现简单。TableStore Timelinehttps:/ 入门指南 场景及解决方案 数据通道 开发实践 高可用建设 技术分享TableStore场景白皮书扫码扫码进钉钉交流群进钉钉交流群 架构讨论 存储模型设计 使用问题反馈 直接与开发交流 用户间共享经验TableStore专家服务THANKS飞天技术汇-存储和数据库专场