ZyHui » DS8000

IBM P5小型机连接使用DS8000遇到问题处理一例

zyhui — Fri, 21 Aug 2009 01:02:45 +0000

之前有两台570做的HACMP，使用的DS4800，最近新购DS8000，就把DS4800上的数据迁移到了DS8000上，迁移完之后测试都正常，第二天查看日志出现如下错误：

72206E77   0819080009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819080009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0819000009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED

详细日志信息：

—————————————————————————
LABEL: VPATH_RESV_CFLICT
IDENTIFIER: 72206E77

Date/Time:       Wed Aug 19 08:00:08 BEIST 2009
Sequence Number: 93250
Machine Id:      00C8A1ED4C00
Node Id:         abicserv5
Class:           H
Type:            PEND
Resource Name:   vpath0
Resource Class: disk
Resource Type:   vpath
Location:

Description
REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes
SOFTWARE PROGRAM

Failure Causes
DEVICE LOCKED BY ANOTHER USER

Recommended Actions
RELEASE DEVICE PERSISTENT RESERVATION

Detail Data
SENSE DATA
0000 0000 8000 0036 0000 0000 0000 0001 0000 0000 0000 0000 0000 0000
—————————————————————————
LABEL: VPATH_RESV_CFLICT
IDENTIFIER: 72206E77

Date/Time:       Wed Aug 19 00:00:19 BEIST 2009
Sequence Number: 93249
Machine Id:      00C8A1ED4C00
Node Id:         abicserv5
Class:           H
Type:            PEND
Resource Name:   vpath5
Resource Class: disk
Resource Type:   vpath
Location:

Description
REQUESTED OPERATION CANNOT BE PERFORMED

Probable Causes
SOFTWARE PROGRAM

Failure Causes
DEVICE LOCKED BY ANOTHER USER

Recommended Actions
RELEASE DEVICE PERSISTENT RESERVATION

Detail Data
SENSE DATA
0000 0000 8000 0036 0000 0005 0000 0001 0000 0000 0000 0000 0000 0005

于是网上搜索，发现IBM官方有该问题的处理方法：

http://www-900.ibm.com/cn/support/viewdoc/detail?DocId=1811149A13000

详细信息如下：

errpt中报“72206E77 P H vpath 不能执行请求的操作”错误的解决方法

环境:(产品,平台,机型,软件版本,等)

产品: AIX 5L HACMP5.2 or 5.3

平台: p5，pSeries, JS BladeCenter, ESS Storage

问题描述:

客户从errpt中发现在每天凌晨 00:00 零点零分的时候系统报“72206E77 P H vpath 不能执行请求的操作”
的错误，这些vpath是属于HACMP中配置的磁盘，并且这些磁盘上的vg在对端节点上正varyon着，但是存储
vpath硬盘的访问一切正常。

解答:

errpt的具体信息如下:

#errpt
————————————————————–
标识符时间戳记 T C 资源名描述
72206E77 1101000005 P H vpath16 不能执行请求的操作
72206E77 1101000005 P H vpath14 不能执行请求的操作
72206E77 1101000005 P H vpath12 不能执行请求的操作
72206E77 1101000005 P H vpath11 不能执行请求的操作
72206E77 1101000005 P H vpath9 不能执行请求的操作
72206E77 1101000005 P H vpath8 不能执行请求的操作
72206E77 1101000005 P H vpath6 不能执行请求的操作
72206E77 1101000005 P H vpath5 不能执行请求的操作
72206E77 1101000005 P H vpath3 不能执行请求的操作
72206E77 1101000005 P H vpath1 不能执行请求的操作
72206E77 1031000005 P H vpath16 不能执行请求的操作
72206E77 1031000005 P H vpath14 不能执行请求的操作
72206E77 1031000005 P H vpath12 不能执行请求的操作
72206E77 1031000005 P H vpath11 不能执行请求的操作
72206E77 1031000005 P H vpath9 不能执行请求的操作
72206E77 1031000005 P H vpath8 不能执行请求的操作
72206E77 1031000005 P H vpath6 不能执行请求的操作
72206E77 1031000005 P H vpath5 不能执行请求的操作
72206E77 1031000005 P H vpath3 不能执行请求的操作
72206E77 1031000005 P H vpath1 不能执行请求的操作
……

errpt -a
标号： VPATH_RESV_CFLICT
标识符： 72206E77

日期／时间：公元2005年11月01日星期
序号： 5237
机器标识： 00C662AF4C00
节点标识： bmccdb
类： H
类型： PEND
资源名： vpath16
资源类： disk
资源类型： vpath
位置：

描述
不能执行请求的操作

可能原因
软件程序

失败原因
设备被另一个用户锁定

推荐的操作
F100

详细数据
检测数据
2FF3 9694 8000 002B 0000 0010 0000 0001 0000 0000 0000 0000 0000 0010
……

===========================================================================
方法一: (临时解决方法)
忽略这个报错信息，这不是一个真正的功能问题，但是错误每天依旧报告。

方法二: (临时解决方法)
# smit hacmp
=> Problem Determination Tools
=> HACMP Verification
=> Automatic Cluster Configuration Monitoring
Automatic Cluster Configuration Monitoring
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[Entry Fields]
* Automatic cluster configuration verification Disabled +
Node name Default +
* HOUR (00 – 23) [00] +#

将每天 00:00 零点零分 " Automatic cluster configuration verificatio " 的功能禁用，
然后停止HACMP应用程序，再进行HACMP配置的验证和同步，使之生效后，错误从此不再报告。

方法三:(永久解决方法)
访问下面网址下载并安装HACMP的补丁进行永久的解决。

IY70222 (HACMP5.2):
VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS
http://www-1.ibm.com/support/docview.wss?uid=isg1IY70222

IY77629 (HACMP5.3):
VPATH_RESERVATION_CONFLICT OR DISK ERRORS LOGGED WHEN CLVERIFY RUNS
http://www-01.ibm.com/support/docview.wss?uid=isg1IY77629

安装HACMP的补丁并重新启动系统以后，错误从此不再报告。

—————————————————————————

由于我们使用的HACMP版本是5.3的，于是下载IY77629补丁进行安装，安装之后重启服务器，以为万事大吉，没想到第二天依然看到有如下错误：

72206E77   0820080009 P H vpath5         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath4         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath3         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath2         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath1         REQUESTED OPERATION CANNOT BE PERFORMED
72206E77   0820080009 P H vpath0         REQUESTED OPERATION CANNOT BE PERFORMED

于是众人大呼IBM的文档也不靠谱，正在无计可施的时候，忽然发现该错误的一个特点：

安装HACMP补丁之前凌晨0点和8点都有报错，安装HACMP补丁之后只有8点报错，感觉有些蹊跷，进一步检查：

# crontab -l

发现其中每天0点和8点执行的命令如下，其中0点执行的是HACMP的，8点的不清楚是什么东西。

0 0 * * * /usr/es/sbin/cluster/utilities/clcycle 1>/dev/null 2>/dev/null # HACMP for AIX Logfile rotation

0 8 * * * /home/cron/checksys.sh 1>>/home/cron/checksys.log 2>>/home/cron/checksys.err

由此可以判断出HACMP的补丁已经生效了，现在的问题是checksys.sh 是什么东西。

看一下checksys.sh 的内容：

cd /abbin;
/abbin/nmon64 -f -s 600 -c 144;
date;
find /var/tmp/testtmp/*.tmp -mtime +3 -print|xargs rm -f;
find /var/tmp/*.tmp -mtime +3 -print|xargs rm -f;
date;

原来是nmon，到/abbin下看了下，这个nmin64竟然是2006年的，现在问题已经确定了，就是这个2006年的nmon64的问题了，应该更新最新的nmon就OK了。

Redhat Linux安装SDD，配置使用DS8000

zyhui — Wed, 12 Aug 2009 07:09:31 +0000

下载与安装

下载SDD驱动

http://www-01.ibm.com/support/docview.wss?rs=540&context=ST52G7&dc=D430&uid=ssg1S4000107&loc=en_US&cs=utf-8&lang=en

我的系统是RHEL4.6，所以选择Platform Red Hat EL 4.0 (x86_64) SDD v1.6.3.0-8，

查看系统内核版本

[root@ localhost ~]# uname -a

Linux localhost 2.6.9-67.ELsmp #1 SMP Wed Nov 7 13:56:44 EST 2007 x86_64 x86_64 x86_64 GNU/Linux

看readme文档中确认系统内核是否受到支持。

安装SDD

rpm -ivh IBMsdd-1.6.3.0-8.x86_64.rhel4.rpm

启动SDD

[root@localhost /]# sdd start

如果提示内核不支持，查看下驱动的readme确认，安装受支持的内核。

启动成功之后使用lsvpcfg命令查看vpath

[root@localhost /]# lsvpcfg

000 vpatha ( 252, 0) 75MW0012308 = 6005076308ffc6e80000000000002308 = /dev/sdb /dev/sdi /dev/sdp /dev/sdw

001 vpathb ( 252, 64) 75MW0012309 = 6005076308ffc6e80000000000002309 = /dev/sdc /dev/sdj /dev/sdq /dev/sdx

002 vpathc ( 252, 128) 75MW0012409 = 6005076308ffc6e80000000000002409 = /dev/sdd /dev/sdk /dev/sdr /dev/sdy

003 vpathd ( 252, 192) 75MW001240A = 6005076308ffc6e8000000000000240a = /dev/sde /dev/sdl /dev/sds /dev/sdz

004 vpathe ( 252, 256) 75MW0012509 = 6005076308ffc6e80000000000002509 = /dev/sdf /dev/sdm /dev/sdt /dev/sdaa

005 vpathf ( 252, 320) 75MW0012609 = 6005076308ffc6e80000000000002609 = /dev/sdg /dev/sdn /dev/sdu /dev/sdab

006 vpathg ( 252, 384) 75MW0012709 = 6005076308ffc6e80000000000002709 = /dev/sdh /dev/sdo /dev/sdv /dev/sdac

配置磁盘

创建PV

[root@localhost /]# pvcreate /dev/vpatha

Device /dev/vpatha not found (or ignored by filtering).

需要修改/etc/lvm/lvm.conf来修正该错误

[root@localhost /]# vi /etc/lvm/lvm.conf

找到

# types = [ "fd", 16 ]

修改成

types = [ "vpath", 16 ]

保存退出之后就可以成功创建PV了。

创建好PV的时候可能会遇到下面问题

Found duplicate PV 1XlJrZHnI49tTtHVvwe7cXZ0cATNFTxw: using /dev/sdak not /dev/vpatha

需要修改/etc/lvm/lvm.conf来修正该错误

[root@localhost /]# vi /etc/lvm/lvm.conf

找到filter =，修改为：

filter = [ "a/vpath[a-z]*/", "a/sda2/", "r/.*/" ]

保存推出后lvdisplay两次就不会报错了。

[root@localhost /]# pvdisplay

— Physical volume —

PV Name /dev/sda2

VG Name rootvg

PV Size 135.87 GB / not usable 29.25 MB

Allocatable yes

PE Size (KByte) 32768

Total PE 4347

Free PE 3597

Allocated PE 750

PV UUID h6WAjn-NrcC-LNKL-MSe0-M1Lq-bNeh-VbKFxx

— NEW Physical volume —

PV Name /dev/vpatha

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID PW9B2K-lZMw-YuFX-lLVq-9Wzo-K6tm-KLX5kQ

— NEW Physical volume —

PV Name /dev/vpathe

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID Knd0Dg-rWN2-8L3A-EG09-rHIn-s3bf-w256M0

— NEW Physical volume —

PV Name /dev/vpathb

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID qrVeSD-lecV-dOvZ-Y911-tQ4C-uj42-UdeNXE

— NEW Physical volume —

PV Name /dev/vpathf

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID BcZjnN-3kpd-lXyf-MGog-JTbK-Vu0M-DaioOd

— NEW Physical volume —

PV Name /dev/vpathc

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID ug3yuI-3UNm-1pKo-eq2c-10Vn-O1Aj-zIQegw

— NEW Physical volume —

PV Name /dev/vpathg

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID ylxC2a-5CM1-DAZF-3nGd-Ox0L-wiMX-UNSxHg

— NEW Physical volume —

PV Name /dev/vpathd

VG Name

PV Size 150.00 GB

Allocatable NO

PE Size (KByte) 0

Total PE 0

Free PE 0

Allocated PE 0

PV UUID k19Lx9-MPq5-iQGp-XjIY-Mf4E-EGuJ-4jwMKp

创建VG

vgcreate dzvg /dev/vpatha /dev/vpathb /dev/vpathc /dev/vpathd /dev/vpathe /dev/vpathf /dev/vpathg

[root@localhost /]# vgdisplay

— Volume group —

VG Name rootvg

System ID

Format lvm2

Metadata Areas 1

Metadata Sequence No 15

VG Access read/write

VG Status resizable

MAX LV 0

Cur LV 6

Open LV 6

Max PV 0

Cur PV 1

Act PV 1

VG Size 135.84 GB

PE Size 32.00 MB

Total PE 4347

Alloc PE / Size 750 / 23.44 GB

Free PE / Size 3597 / 112.41 GB

VG UUID T710ZC-BJ5u-2tuS-X9hU-OPRC-0A7Y-BR9tP3

— Volume group —

VG Name dzvg

System ID

Format lvm2

Metadata Areas 7

Metadata Sequence No 1

VG Access read/write

VG Status resizable

MAX LV 0

Cur LV 0

Open LV 0

Max PV 0

Cur PV 7

Act PV 7

VG Size 1.03 TB

PE Size 4.00 MB

Total PE 268793

Alloc PE / Size 0 / 0

Free PE / Size 268793 / 1.03 TB

VG UUID Xn5oLt-CXUD-oQJJ-oGVT-aizU-1fxs-EIFGuS

在另外一台服务器上安装SDD，修改lvm.conf文件，启动SDD，运行pvscan，vgscan，或者重新启动，就可以看到这些vpath和VG了，无需再建。