某电厂公用系统网络故障分析及处理

2018-03-09 11:59:43 大云网  点击量: 评论 (0)
1事件经过某日某厂 5燃机停运。4时30分T3000系统OM界面出现errorsubscribing plant display connection timed out :connect报警,公

1事件经过

某日某厂#5燃机停运。4时30分T3000系统OM界面出现“errorsubscribing plant display connection timed out :connect”报警,公用系统画面出现“U”报警,ASD无异常报警,同时#5机组公用系统及#5机组部分界面无法操作。

4时50分#5机组公用系统所有界面以及总览目录中公用系统设备目录消失,现场检查发现公用系统上层网SCALANCE网络交换机T01、T02均存在故障报警。5时50分热工人员将T01网络交换机进行断电重启,T01重启结束后T01、T02故障报警信号消失,公用系统设备在界面中恢复正常。

图1 网络交换机状态显示

图2 #5机组公用系统上层网网络结构

2原因调查

2.1 设备检查

(1)公用网络交换机T01重启后,T01、T02无故障报警信号,F灯未亮。

(2)检查公用系统网络交换机T01发现当光纤数据端口P13处于通信状态,P14处于备用状态时,P14灯标状态闪烁异常,存在故障。

(3)检查公用系统网络交换机T01、T02之间的连接光纤通信无异常。

(4)检查T01、T02之间的连接通信光纤发现光纤存在弯折痕迹。

使用测试光纤工具测试光纤性能,从测试结果可以判断弯折后的光纤通信能力有较大幅度下降,但还是在允许范围内。

图3(正常光纤测试)

图4(弯折光纤测试)

(5)检查赫斯曼路由器MARCH 4000,无异常。

(6)停#5机组公用系统网络交换机T01电源,网络通信正常。

(7)恢复#5机组公用系统T01电源,停T02电源,网络通信正常。

(8)保持#5机组公用系统T01、T02正常工作,拔除T01、T02之间的互为冗余的通信光纤,设置公用系统服务器CoServer01为主控,#5机组公用系统及机组部分界面无法操作的情况出现。

(9)保持#5机组公用系统T01、T02正常工作,拔除T01、T02之间的互为冗余的通信光纤,设置公用系统服务器CoServer02为主控,网络通信正常。

(10)保持#5机组公用系统T01、T02正常工作,拔除T01、T02之间的互为冗余的通信光纤,拔除T01上连接赫斯曼路由器的通信网线,网络通信正常。

(11)保持#5机组公用系统T01、T02正常工作,拔除T01、T02之间的互为冗余的通信光纤,恢复T01上连接赫斯曼路由器的通信网线,拔除T02上连接赫斯曼路由器的通信网线,网络通信正常。

2.1日志检查

(1)检查#5机组公用系统网络交换机T01、T02日志,发现出现网络通信故障的时候,T01和T02之间的两路通信均中断。

(2)检查#5机组公用系统网络交换机T01、T02日志,发现出现网络通信故障的时候,用于T01和T02之间通信的光纤数据端口P13已被禁用,报警信息“Link Check:Broken link on port 13 indicated by 100% packet loss.Portdisabled”。

(3)检查#5机组公用系统网络交换机T01、T02日志,发现出现网络通信故障的时候,用于T01和T02之间通信的光纤数据端口P14已被禁用,报警信息“Link Check:Broken link on port 14 indicated by 100% packet loss.Portdisabled”。

3原因分析

由于#5机组公用系统T01存在故障,导致T01和T02之间通信的光纤数据端口P13、P14的丢包率较高,最终由于高丢包率导致P13、P14端口均被屏蔽,T01和T02之间通信中断。

T01、T02之间的连接通信光纤发现光纤有弯折痕迹,通信能力下降存在安全隐患。

根据测试结果,当赫斯曼路由器选择T02作为主控通信路径时,如果发生环网全部中断,那么只有与T02连接的CoServer02服务器处在主控模式时才能保证通信正常。如果路由器选择T01作为主控通信路径时,发生环网全部中断,那么只有与T01连接的CoServer01服务器处在主控模式时才能保证通信正常。发生#5机组公用系统通信故障期间,路由器选择T02作为主控通信路径,但当时CoServer01服务器处在主控模式,因此路由器无法读取到公用系统服务器的数据,导致画面坏点。

操作员站通过网络同时读取单元机组和公用系统的操作界面数据,当无法读取到公用系统的数据时候,会耗费较多的网络资源用于读取公用系统的数据,导致操作员站的操作界面响应变慢。

4防范措施

(1)更换#5机组公用系统T01网络交换机;

(2)更换#5机组公用系统T01、T02之间的连接通信光纤;

(3)#5机组公用系统上层网络目前是T02作为主控通信路径,已经将CoServer02作为主控服务器;

(4)为确保单元机组的系统画面不受影响,需要确保机组DCS的容错服务器主控服务器也处在主控通信路径,目前#5机组单元机组系统上层网络是T01作为主控通信路径,已经将容错服务器A侧作为主控服务器。

附:#5机组公用系统上层网络故障应急预案

一、 #5机组公用系统上层网络出现网络数据中断故障的应急处置步骤

1)通过公用系统服务器检查公用系统上层网T01、T02网络交换机的事件日志内容。

2)通过公用系统服务器检查CoServer01、CoServer02是否正常。

3)检查Coserver服务器的网线是否紧固。

4)停#5公用系统T3000上层网交换机T01电源。

5)第四步没有效果的情况下恢复#5公用系统T3000上层网交换机T01电源,停T02电源。

6)第五步没有效果的情况下将CoServer01上层网络接入T02,将CoServer02上层网络接入T01,给T02送电,然后重复第四步和第五步内容。

7) 第六步没有效果的情况下,恢复CoServer服务器上层网络接入位置,停T01电源,更换T02网络交换机。

二、#5机组单元机组上层网络出现网络数据中断故障的应急处置步骤

1)通过单元机组服务器检查单元机组上层网T01、T02网络交换机的事件日志内容。

2)通过单元机组服务器检查冗错服务器A、冗错服务器B是否正常。

3)检查冗错服务器的网线是否紧固。

4)停#5单元机组T3000上层网交换机T02电源。

5)第四步没有效果的情况下恢复#5单元机组T3000上层网交换机T02电源,停T01电源。

6)第五步没有效果的情况下将冗错服务器A侧上层网络接入T02,将冗错服务器B侧上层网络接入T01,给T01送点,然后重复第四步和第五步内容

7)第六步没有效果的情况下,恢复冗错服务器上层网络接入位置,停T02电源,更换T01网络交换机。

大云网官方微信售电那点事儿

责任编辑:仁德财

免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
我要收藏
个赞