埋点数据标准化实践V-2.pdf

1、李奎(Liko)哔哩哔哩 资深数据产品经理 2023 埋点标准化背景埋点标准化背景 标准化实践策略标准化实践策略 后续展望后续展望埋点标准化背景埋点标准化背景 埋点的定义 什么是埋点 埋点的作用 一个 demo某个用户在某个时间点在某个地方以某种方式完成了某个具体的操作distinct_id:liko,time:1434556935000,type:track,event:“click,properties:position:“推荐,user_agent:Mozilla/5.0,page_name:首页,url:“,referer:www.bilibili/ 埋点标准化背景埋点标准化背景 B站

2、的埋点数据链路埋点标准化背景埋点标准化背景-常见业务常见业务问题问题 生产设计 属性命名-永恒的难题 统一规范 各方埋点信息对齐 设计/管理/测试产品化支持 消费使用 找埋点 查数据 降存储 权限管理埋点标准化实践埋点标准化实践从埋点生产到消费下线全生命周期管理埋点标准化实践埋点标准化实践 埋点数据现状 2015第一代:按需高级定制，一个埋点一张表 2016第二代:事件模型，无管理，自由上报和查询 2017第三代:定义公共字段，各业务自行定制事件模型 2019至今第三代+:spmid 埋点模型+产品化管理埋点事件1W+客户端埋点10W+Web端埋点千亿+日增量数据埋点标准化实践埋点标准化实践-

3、埋点埋点设计设计 埋点命名规范埋点命名规范 埋点属性管理埋点属性管理 工具化支持工具化支持 流程与规范流程与规范埋点标准化实践埋点标准化实践-埋点埋点设计设计 埋点命名规范spmid(super-module)模型埋点ID中包含业务信息各部分维表化 规范命名收益业务可读性高成本分摊定位命名复用 埋点命名规范埋点标准化实践埋点标准化实践-埋点埋点设计设计event_id=business_id+page_id+module_id+position_id+event_typeevent_id=business_id+page_id+module_id+position_id+event_type业

4、务粒度页面粒度模块粒度位置粒度类型分组埋点标准化实践埋点标准化实践-埋点埋点设计设计 埋点属性规范分层级设计标准格式灵活扩展性全局公共字段 event_idmain.xxxxxx.0.0.pv app_infoapp_id:xx,platform:xx,model:xxxxxx,osver:xx.xx ctime1606579194470 xxxxx.xx.xx.xx runtime_infonetwork:xxxx,version:xxxx类型通用字段 pv_infoevent_id_from:xxxxxxxx,load_type:x,duration:2414,pvstart:xxxxxx

5、xxxxxxx,pvend:xxxxxxxxxxxxx私有字段 extended_fieldsup_mid:xxxxxxx埋点标准化实践埋点标准化实践-埋点埋点设计设计 埋点属性规范属性元数据字段说明举例基础描述属性英文名称基于命名规范photo_id基础描述中文说明详细说明bv_id基础描述数值类型枚举、数值、文本、结构体string质量描述是否可空0：否，1：是0质量描述默认值默认取值Null质量描述值域id:关联表，枚举值Xxx_ods.xxxxz.photo_id质量描述值规则正则d16管理性上线版本属性在埋点的上线app版本xxx.xxx.xxx管理性属性等级属性的优先级1管理性属性

6、安全等级安全分级质量审计质量日志各个版本的质量情况6Xxx版本 问题：无埋点标准化实践埋点标准化实践-埋点埋点设计设计 落地产品化落地产品化埋点spmid埋点属性埋点存储信息埋点等级业务需求信息分类管理：业务埋点、技术埋点一个埋点就是“一张表”埋点标准化实践埋点标准化实践-埋点埋点设计设计 落地产品化落地产品化业务、页面、模块、位置层级递进维表化复用枚举流程和流程和规范规范 埋点分级管理及变更流程S级、A级、B级埋点变更流程埋点标准化实践埋点标准化实践基于埋点标准化元数据的提