复杂网络故障智能处理（23页）.pdf

1、署名：何源（荆杭）职称：阿里巴巴产品经理 复杂网络架构下的网络故障智能处理 DC Brain之故障篇 体量大 几万台网络设备 几百万端口 日志格式不统一 告警规则不统一 型号多&架构多 结构复杂 监控系统本身运行在网络上 自身依赖 网络故障的特殊性 重复告警多 大家普遍遇到的困难 数据量非常大 海量告警，告警淹没 依赖关系复杂 逻辑关系复杂，代码写死 Internet 服务器 接入层 核心层 Internet 服务器 接入层 核心层 日志日志 Internet 服务器 接入层 核心层 Ping不通不通 Internet 服务器 接入层 核心层 上联端上联端口中断口中断 Internet 服务器

2、 接入层 核心层 同组设备同组设备流量异常流量异常 Internet 城市A 城市B 服务器 接入层 核心层 城市C 下联设备下联设备ping覆盖覆盖 检测手段多元化，交叉覆盖 规则可扩展，可自定义 基于pagerank算法的告警收敛 告警监控系统冗余部署 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 May 16 21:26:29 10.10

3、2.132.84:2016 May 16 21:26:29 BJT:%ETHPORT-5-IF_DOWN_LINK_FAILURE:Interface Ethernet102/1/28 is down(Link failure)事件库 日志分类引擎 生成新的事件 正则匹配 全量日志 聚类 人工添加 事件：端口down 端口名：Ethernet102/1/28 syslog日志处理 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 端口流量 端口状态 端口丢、错包 BGP状态 流量水位90%流量突

4、跌 端口突变为down BGP协议down 丢包超过阀值 绝对值 相对值 同比值 同电路组流量不均 类比值 SNMP事件处理 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 Internet 城市A 城市B 服务器 接入层 核心层 城市C Ping处理 多个ping测源 取最好值 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 规则引擎 端口流量超过带宽的XX%且丢包数超过阀值 端口在1分钟内

5、连续up,down超过n次 流量下跌超过XX%且连续n分钟低于基线 Syslog日志事件 生成新的事件 规则引擎 告警收敛 SNMP事件 Ping测事件 规则库 物理拓扑&协议拓扑 告警等级 告警分发 总体思路 采集 告警收敛 R1 R2 R3 S1-1/0/1 S1-2/0/1 S3-1/0/1 S2-1/0/1 M1:板卡down （等级11）M2:Interface S1-1/0/1 down（等级18）M3:Interface S3-1/0/1 down（等级18）M4:OSPF协议 down(等级33)M5:端口丢包（等级65）R1 R1 R3 R4 R5 Pagerank 告警分级 数据量每分钟千万级 基于spark streaming流式处理，spark graphX图算法 单一的监控手段都有可能失效，要有多重手段 大数据不可怕，基础设施怕的是没有数据 既懂基础设施，又懂数据的人很稀缺，我们非常缺人 Email:Jinghang.hyalibaba-