IBM P5小型机连接使用DS8000遇到问题处理一例

zyhui — Fri, 21 Aug 2009 01:02:45 +0000

之前有两台570做的HACMP，使用的DS4800，最近新购DS8000，就把DS4800上的数据迁移到了DS8000上，迁移完之后测试都正常，第二天查看日志出现如下错误：

72206E77   0819080009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED

详细日志信息：

—————————————————————————
LABEL: VPATH_RESV_CFLICT
IDENTIFIER: 72206E77

Date/Time:       Wed Aug 19 08:00:08 BEIST 2009
Sequence Number: 93250
Machine Id:      00C8A1ED4C00
Node Id:         abicserv5
Class:           H
Type:            PEND
Resource Name:   vpath0
Resource Class: disk
Resource Type:   vpath
Location:

Description
REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes
SOFTWARE PROGRAM

Failure Causes
DEVICE LOCKED BY ANOTHER USER

Recommended Actions
RELEASE DEVICE PERSISTENT RESERVATION

Detail Data
SENSE DATA
0000 0000 8000 0036 0000 0000 0000 0001 0000 0000 0000 0000 0000 0000
—————————————————————————
LABEL: VPATH_RESV_CFLICT
IDENTIFIER: 72206E77

Date/Time:       Wed Aug 19 00:00:19 BEIST 2009
Sequence Number: 93249
Machine Id:      00C8A1ED4C00
Node Id:         abicserv5
Class:           H
Type:            PEND
Resource Name:   vpath5
Resource Class: disk
Resource Type:   vpath
Location:

Description
REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes
SOFTWARE PROGRAM

Failure Causes
DEVICE LOCKED BY ANOTHER USER

Recommended Actions
RELEASE DEVICE PERSISTENT RESERVATION

Detail Data
SENSE DATA
0000 0000 8000 0036 0000 0005 0000 0001 0000 0000 0000 0000 0000 0005

于是网上搜索，发现IBM官方有该问题的处理方法：

http://www-900.ibm.com/cn/support/viewdoc/detail?DocId=1811149A13000

详细信息如下：

errpt中报“72206E77 P H vpath 不能执行请求的操作”错误的解决方法

环境:(产品,平台,机型,软件版本,等)

产品: AIX 5L HACMP5.2 or 5.3

平台: p5，pSeries, JS BladeCenter, ESS Storage

问题描述:

客户从errpt中发现在每天凌晨 00:00 零点零分的时候系统报“72206E77 P H vpath 不能执行请求的操作”
的错误，这些vpath是属于HACMP中配置的磁盘，并且这些磁盘上的vg在对端节点上正varyon着，但是存储
vpath硬盘的访问一切正常。

解答:

errpt的具体信息如下:

#errpt
————————————————————–
标识符时间戳记 T C 资源名描述
72206E77 1101000005 P H vpath16 不能执行请求的操作
72206E77 1101000005 P H vpath14 不能执行请求的操作
72206E77 1101000005 P H vpath12 不能执行请求的操作
72206E77 1101000005 P H vpath11 不能执行请求的操作
72206E77 1101000005 P H vpath9 不能执行请求的操作
72206E77 1101000005 P H vpath8 不能执行请求的操作
72206E77 1101000005 P H vpath6 不能执行请求的操作
72206E77 1101000005 P H vpath5 不能执行请求的操作
72206E77 1101000005 P H vpath3 不能执行请求的操作
72206E77 1101000005 P H vpath1 不能执行请求的操作
72206E77 1031000005 P H vpath16 不能执行请求的操作
72206E77 1031000005 P H vpath14 不能执行请求的操作
72206E77 1031000005 P H vpath12 不能执行请求的操作
72206E77 1031000005 P H vpath11 不能执行请求的操作
72206E77 1031000005 P H vpath9 不能执行请求的操作
72206E77 1031000005 P H vpath8 不能执行请求的操作
72206E77 1031000005 P H vpath6 不能执行请求的操作
72206E77 1031000005 P H vpath5 不能执行请求的操作
72206E77 1031000005 P H vpath3 不能执行请求的操作
72206E77 1031000005 P H vpath1 不能执行请求的操作
……

errpt -a
标号： VPATH_RESV_CFLICT
标识符： 72206E77

日期／时间：公元2005年11月01日星期
序号： 5237
机器标识： 00C662AF4C00
节点标识： bmccdb
类： H
类型： PEND
资源名： vpath16
资源类： disk
资源类型： vpath
位置：

描述
不能执行请求的操作

可能原因
软件程序

失败原因
设备被另一个用户锁定

推荐的操作
F100

详细数据
检测数据
2FF3 9694 8000 002B 0000 0010 0000 0001 0000 0000 0000 0000 0000 0010
……

===========================================================================
方法一: (临时解决方法)
忽略这个报错信息，这不是一个真正的功能问题，但是错误每天依旧报告。

方法二: (临时解决方法)
# smit hacmp
=> Problem Determination Tools
=> HACMP Verification
=> Automatic Cluster Configuration Monitoring
Automatic Cluster Configuration Monitoring
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Automatic cluster configuration verification Disabled +
Node name Default +
* HOUR (00 – 23) [00] +#

将每天 00:00 零点零分 " Automatic cluster configuration verificatio " 的功能禁用，
然后停止HACMP应用程序，再进行HACMP配置的验证和同步，使之生效后，错误从此不再报告。

方法三:(永久解决方法)
访问下面网址下载并安装HACMP的补丁进行永久的解决。

IY70222 (HACMP5.2):
VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS
http://www-1.ibm.com/support/docview.wss?uid=isg1IY70222

IY77629 (HACMP5.3):
VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS
http://www-01.ibm.com/support/docview.wss?uid=isg1IY77629

安装HACMP的补丁并重新启动系统以后，错误从此不再报告。

—————————————————————————

由于我们使用的HACMP版本是5.3的，于是下载IY77629补丁进行安装，安装之后重启服务器，以为万事大吉，没想到第二天依然看到有如下错误：

72206E77   0820080009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED

于是众人大呼IBM的文档也不靠谱，正在无计可施的时候，忽然发现该错误的一个特点：

安装HACMP补丁之前凌晨0点和8点都有报错，安装HACMP补丁之后只有8点报错，感觉有些蹊跷，进一步检查：

# crontab -l

发现其中每天0点和8点执行的命令如下，其中0点执行的是HACMP的，8点的不清楚是什么东西。

0 0 * * * /usr/es/sbin/cluster/utilities/clcycle 1>/dev/null 2>/dev/null # HACMP for AIX Logfile rotation

0 8 * * * /home/cron/checksys.sh 1>>/home/cron/checksys.log 2>>/home/cron/checksys.err

由此可以判断出HACMP的补丁已经生效了，现在的问题是checksys.sh 是什么东西。

看一下checksys.sh 的内容：

cd /abbin;
/abbin/nmon64 -f -s 600 -c 144;
date;
find /var/tmp/testtmp/*.tmp -mtime +3 -print|xargs rm -f;
find /var/tmp/*.tmp -mtime +3 -print|xargs rm -f;
date;

原来是nmon，到/abbin下看了下，这个nmin64竟然是2006年的，现在问题已经确定了，就是这个2006年的nmon64的问题了，应该更新最新的nmon就OK了。

ZyHui » hacmp

IBM P5小型机连接使用DS8000遇到问题处理一例

errpt中报“72206E77 P H vpath 不能执行请求的操作”错误的解决方法