CPU和CPU占用率简介
交换机的核心--CPU
交换机采用分布式架构,主要包括转发平面和控制平面。其中转发平面用于实现二三层转发;而控制平面主要用于实现转发的控制。
如图所示,交换机的控制平面采用通用嵌入式CPU实现,转发平面采用转发芯片实现:
- 转发芯片完成主要的二三层转发功能,如更新用于二层转发的MAC地址表以及用于IP转发的三层转发表。转发芯片的特点是能够实现大吞吐量的数据转发。
- CPU主要维护软件表项(如路由表、ARP表等),并根据软件表项的转发信息来配置转发芯片的硬件三层转发表。同时,CPU本身也可以完成软件三层转发。CPU的特点是数据处理能力非常低。
图17-1 交换机的分布式架构
在网络中,可将报文按照功能分为控制报文和数据报文。当交换机上还未建立任何硬件转发表项时,如果报文到达交换机,首包由CPU转发并建立三层转发硬件表项,后续包(即非首包)流量由入端口进入转发芯片,如图所示:
图17-2 交换机对非首包流量的处理
- 后续包的部分流量1(一般为数据报文)直接由转发芯片转发出去这部分流量不经过CPU,所以该流量的处理也不消耗CPU。这部分流量一般为数据报文。
- 后续包的部分流量2(一般为控制报文和部分数据报文)经由转发芯片上送CPU,由CPU来决定是否需要将其转发出去或直接在CPU终结。该流量需要消耗CPU,不能进行高速转发。
总的来说,真正决定交换机高速交换转发的是转发芯片中的二三层硬件表项,而转发芯片的硬件表项来源于CPU维护的软件表项。可以看出,CPU是交换机的核心。
CPU占用率
交换机正常启动后,为了维持系统的正常运行,CPU上有大约超过200个活跃的任务用于完成对设备的管理、监控和三层表项学习,并且该任务数量与交换机形态相关。通常交换机支持的特性越多,系统运行的任务也越多。
设备的CPU占用率指一段时间内系统中非空闲任务占用CPU处理的时间比率,是对设备CPU使用情况的一个宏观统计,具有以下的几个重要特点:
- 持续变化性:系统的CPU占用率不是保持不变的,它是随着系统的运行和外部环境的变化而持续变化的。
- 非实时性:系统的CPU占用率反映的是一个CPU统计周期内的CPU使用情况,并不是特指某一个时间点的实时占用情况。
- 实体强相关性:CPU占用率是以物理CPU为粒度进行统计的,通常而言,设备上的每块业务板均有一个单独的物理CPU,因此它们的CPU占用率都是相互独立的。
CPU占用率表示交换机在某个时间点的运行任务情况。如图所示,A任务占用10ms,B任务占用30ms,然后空闲60ms,再又是A任务占10ms,B任务占30ms,空闲60ms。如果在一段时间内都是如此,那么这段时间内的占用率为40%。CPU占用率越高,说明交换机在这个时间上运行了很多任务,反之则很少。
图17-3 任务占用CPU运行时间
可以看出,CPU占用率的高低与CPU的强弱有直接关系,因此,CPU占用率是衡量设备性能的重要指标之一。
CPU处理报文原理(框式交换机)华为交换机由转发芯片转发普通数据报文,无需CPU参与。以下场景会将报文发送给CPU处理:
- 需要交换机终结的协议报文
所有目的地址为本机的报文均需要上送CPU处理:
- 各种协议控制报文,如STP、LLDP、LNP、LACP、VCMP、DLDP、EFM、GVRP、VRRP等
- 路由更新报文,如RIP、OSPF、BGP、IS-IS等
- SNMP、Telnet、SSH报文
- ARP、ND回应报文
- 需要特殊处理的报文
- 带option选项的ICMP报文
- 带hop-by-hop选项的IPv6报文
- TTL小于或等于1的IPv4/IPv6数据报文
- 目的IP地址为本机的数据报文
- ARP/ND/FIB Miss报文
- 应用了ACL,需要CPU处理的报文
- 开启logging功能后,通过ACL deny动作丢弃的报文
- 流策略重定向到CPU的报文
- 组播特性相关的报文
- PIM、IGMP、MLD、MSDP协议报文
- 未知IP组播流
- 其他特性的相关报文
- DHCP协议报文
- ARP、ND广播请求报文
- L2PT软转发的L2协议报文(仅Tunnel两端的设备为软转发,中间设备使用芯片硬件转发)
如图所示,报文最终送到主控板的CPU可能经过多次限速,包括:转发芯片的限速、交换网芯片的限速。多次限速逐层形成防护墙,保证主控板CPU的安全。
图框式交换机上报文的上送限速
每个芯片/逻辑的限速主要分为三类:基于协议的限速、基于队列的限速、基于端口的所有报文统一限速。如下以V200R007版本S9300非X1E系列的业务板为例,介绍CPU限速等的缺省情况(其他款型、其他版本可以通过命令display cpu-defend configuration all查看)。
图17-5 上送CPU报文的限速分类
交换机根据报文的层次(管理/控制/转发)及其重要性来指定将报文发送到哪个CPU队列。CPU队列具有相对优先级。例如,Telnet管理报文和dhcp-client协议报文同时排队,CPU将优先处理5号队列的Telnet管理报文,通过该机制确保CPU高负荷下设备稳定可管理。同时,CPU还通过加权调度机制防止低优先级队列的报文得不到处理。在稳定的网络环境下,上送CPU的报文数量控制在适当的范围内,CPU占用率也稳定在一个合理的区间。如果一段时间内上送CPU的报文数量过大,则CPU会因为忙于处理这些报文而表现为CPU占用率过高。
CPU处理报文原理(盒式交换机)华为交换机由硬件转发普通数据报文,无需CPU参与。以下场景会将报文发送给CPU处理:
- 需要交换机终结的协议报文
所有目的地址为本机的报文均需要上送CPU处理:
- 各种协议控制报文,如STP、LLDP、LNP、LACP、VCMP、DLDP、EFM、GVRP、VRRP等
- 路由更新报文,如RIP、OSPF、BGP、IS-IS等
- SNMP、Telnet、SSH报文
- ARP、ND回应报文
- 需要特殊处理的数据报文
- 带option选项的ICMP报文
- 带hop-by-hop选项的IPv6报文
- TTL小于或等于1的IPv4/IPv6报文
- 目的IP地址为本机的报文
- ARP/ND/FIB Miss报文
- 基于ACL的特性
- 开启logging功能后,通过ACL deny动作丢弃的报文
- 流策略重定向到CPU的报文
- 组播特性
- PIM、IGMP、MLD、MSDP协议报文
- 未知IP组播流
- 其他特性
- DHCP协议报文
- ARP、ND广播请求报文,二层交换机配置动态ARP检测DAI(Dynamic ARP Inspection)时也发送ARP报文
- L2PT软转发的L2协议报文(仅Tunnel两端的设备为软转发,中间设备使用硬件转发)
- N:1 VLAN mapping第一个报文上送CPU,后续报文使用硬件转发
交换机采用QoS机制处理上送CPU的报文,确保重要报文优先处理。交换机将上送CPU的不同类型的报文划分到优先级不同的8个队列,不同交换机款型支持上送CPU的报文种类可能不同。以S5700LI形态为例,部分典型报文上送CPU的队列划分如表所示,队列ID值越大,优先级越高。
CPU处理不同报文的队列划分
队列ID | 报文类型 | 说明 |
7 | IPC、RPC、LACP | 内部管理报文 |
6 | VP(V2R3开始VP报文的队列跟原来的协议报文保持一致) | 内部软转发的协议报文 |
5 | Telnet、SSH、LNP、DHCP | 管理面协议报文 |
4 | ARP Request | 重要控制面协议报文 |
3 | STP、SMLK、EOAM、VCMP | 重要控制面协议报文 |
2 | LBDT、LLDP、DLDP、IGMP、ICMP、NTP、802.1x、GVRP、L2PT、ARP Miss、FTP、SNMP | 控制面协议报文 |
1 | Other | - |
0 | sFlow、NetStream | 数据报文或消息 |
将不同类型报文分发到CPU队列
交换机根据报文的层次(管理/控制/转发)及其重要性来指定将报文发送到哪个CPU队列。CPU队列具有相对优先级。例如,Telnet管理报文和L2PT软件透传L2协议报文同时排队,CPU将优先处理5号队列的Telnet管理报文,通过该机制确保CPU高负荷下设备稳定可管理。同时,CPU还通过加权调度机制防止低优先级队列的报文得不到处理。在稳定的网络环境下,上送CPU的报文数量控制在适当的范围内,CPU占用率也稳定在一个合理的区间。如果一段时间内上送CPU的报文数量过大,则CPU会因为忙于处理这些报文而表现为CPU占用率过高。
CPU占用率高造成的影响当设备转发面上送CPU的报文速率过快(如因网络环路导致CPU短时间内收到大量报文)或者某任务长时间占用CPU时,CPU将高负荷运行,可能无法及时调度其他任务,进而引发业务异常。
CPU占用率过高会影响系统处理能力,导致网络业务表现不如预期,可能导致出现的网络故障现象有:
- 交换机不能响应正常的管理请求
- Telnet或SSH会话不能建立,导致无法管理设备或者设备反应慢,命令执行有延迟等
- SNMP超时
- MAC/IP Ping耗时很长甚至超时
- 交换机不能及时转发或回应客户端请求,导致DHCP失败或IEEE 802.1x认证失败
- STP拓扑改变甚至出现网络环路
交换机通过CPU周期性的接收BPDU报文维持其Root/Alternate端口角色,如果因上游设备CPU繁忙导致BPDU报文不能及时发出或本机CPU繁忙不能及时处理收到的BPDU报文,交换机会认为到根桥的原路径故障而重新选择Root端口,引起网络重新收敛;如果交换机原来同时存在Alternate端口,则将Alternate端口作为新的Root端口,这时就可能导致网络出现环路。
- 路由拓扑改变
动态路由协议的保活由CPU完成,如果因CPU繁忙不能及时接收和发送hello报文,就会导致路由震荡,如OSPF震荡、BGP震荡、VRRP震荡。
- 可靠性检测协议震荡
802.3ah、802.1ag、DLDP、BFD、MPLS OAM等检测协议均由CPU完成定时保活,如果因为CPU繁忙不能及时接收和发送协议报文,将会导致协议震荡,进而影响相关业务流量转发。
- LACP类型的Eth-Trunk链路震荡
LACP的保活由CPU完成,如果因CPU繁忙不能及时接收和发送LACP报文,Eth-Trunk会将链路关闭,产生链路震荡。
- 通过CPU软转发的报文被丢弃或转发时延增大
- 交换机内存消耗增加
CPU占用率高属于正常现象的场景在网络运行中,CPU占用率过高常常会导致业务异常,例如BGP震荡、VRRP频繁切换甚至用户无法登录交换机。但某些情况下,CPU占用率高并不会导致网络问题,例如,交换机在某一时刻集中读取光模块信息、瞬间流量增多等各种具体情况,导致CPU占用率暂时性高的现象是正常的、可接受的,所以不能简单的将CPU占用率高当作故障处理。只有当设备长时间不能正常处理业务时,才需要定位是否由于CPU占用率高而引起的。
如下一些场景可能导致CPU占用率高,属于正常现象,而不是故障场景。如果过了一段时间后,CPU占用率恢复到正常值,则可以不需要处理:
- 网管系统在频繁操作交换机
- 导致CPU占用率高的其他事件
- 端口使能了Sticky MAC功能后,快速学习MAC
- 将大量端口同时加入大量VLAN(如通过端口组操作,将大批端口加入大量VLAN、修改大批端口的链路类型等)
- 频繁或大量的IGMP请求
- 大量并发的DHCP请求(如交换机作为DHCP服务器时,恢复与大量用户的连接)
- ARP广播风暴
- 以太网广播风暴
- 软转发大量并发协议报文(如短时间内L2PT透传大量BPDU报文,DHCP Relay/Snooping软转发DHCP报文等)
- 大量不能由转发芯片直接转发的数据报文上送CPU(如ARP-Miss)
- 端口频繁Up/Down