正文

aix小机重启后磁盘missing引发的故障

tonnytangy  tonnytangy  2022-09-21  687

关键词：

这个是之前遇到的一个故障，这里总结分享下

【故障现象】

1、数据库服务器在重启之后，有个VG-othervg在激活的时候提示

2、在起数据库的时候，只能启动到mount状态，在open的时候提示

【问题分析】

1、由于部分lv无法读取，先查看该lv所在的VG状态，并查看该lv的权限

1      #lslv  dw_sys_104    --看出所在vg为othervg
2      #ls -l /dev/rdw_sys_104   --查看权限为oracle10:dba

2、用lsvg -p othervg 查看其中的一个vpath388盘的状态为“missing”

3、查看vpath388盘的对应关系

1 #lsvpcfg |grep vpath388
2 vpath388 (Avail pv othervg) 75BHKN10232 = hdisk884 (Avail ) hdisk1226 (Avail )

4、到DS8100存储通过LUNID号232查看盘状态正常，并未有锁

5、lscfg -vl vpath388 和lsattr -El vpath388查看该盘的属性

6、datapath query adapter --查看链路状态正常

初步判断为盘的信息丢失

【处理措施】

1、rmdev -d vpath388

2、cfgmgr 扫出来的vpath388的pvid号丢失，多次尝试依然无效

3、varyonvg othervg 提示：

0516-008 varyonvg: LVM system call returned an unknown error code (3).

4、readvgda vpath388

Invalid lvm_rec!

00000E00 00000000 00000000 00000000 00000000 |................|

00000E10 00000000 00000000 00000000 00000000 |................|

00000E20 00000000 00000000 00000000 00000000 |................|

00000E30 00000000 00000000 00000000 00000000 |................|

00000E40 00000000 00000000 00000000 00000000 |................|

00000E50 00000000 00000000 00000000 00000000 |................|

--查看该盘的表头信息缺失，查看othervg中别的盘都有信息

5、lquerypv -h /dev/vpath388

00000000 00000000 00000000 00000000 00000000 |................|

00000010 00000000 00000000 00000000 00000000 |................|

00000020 00000000 00000000 00000000 00000000 |................|

--查看信息同样为空

6、dd if=/dev/vpath388 of=/dev/null bs=256k count=500 --用该命令查看该盘能正常读，说明盘没有被锁

7、经联系IBM原厂给出的处理建议：修复该盘：

Action plan:                                                    
1) upload the file vpath388.head to /tmp dir                    
2)  # dd if=/dev/vpath376 of=/dev/vpath388 bs=512k count=137     
     # dd if=/tmp/vpath388.head of=/dev/vpath388 bs=512k count=1  
     # rmdev -dl vpath388     
     # cfgmgr                                                          
   to recognize the vpath388                                         
     # lspv ! grep vpath388                                            
   to check pvid of vpath388 has changed back to 00cdcf7b33230541    
     # exportvg othervg                                                
     # importvg -y othervg vpath33

注：

# readvgda vpath33 > /tmp/vgda/readvgda.vpath33

# lqueryvg -Atp vpath33 > /tmp/vgda/lqueryvg.out

# lquerypv -h /dev/vpath33 > /tmp/vgda/lquerypv.out

datapath open device 388 path hdisk886

datapath open device 388 path 0

datapath remove 388 path 0

aix磁盘管理教程

...20块硬盘，前10块硬盘划成RAID5,后10块硬盘划成RAID10）(在小机中有两块内置硬盘HDISK0,HDISK1均为ROOTVG）RAID5LUN1LUN2RAID10LUN3LUN4LUN5这样在AIX 查看详情

dellr410做的raid5，因为一块硬盘故障，更换硬盘后，在perc6/iintegrated配置中显示为missing

...盘做的RAID0。DISKGROUP1中，三块1T的硬盘做的RAID5。在物理磁盘管理页面，高亮ready磁盘，点F2，进行操作，将高亮的磁盘设置为热备，此时热备磁盘自动进行rebuild，那个missing代表的是之前没换磁盘的时候，旧磁盘的丢失状态，新... 查看详情

故障排查

...sdb空磁盘内复制完成后模拟破坏这边sda磁盘已经被破坏了重启看一下，重启过后会让你重装系统，这边我们进入第三个急救模式然后一次进选择到了这边之后选择第一个shell环境回车进入进入shell环境后会让你输入，我们要先创... 查看详情

磁盘故障小案例

...im这个文件把我们修改的东西删除或#号注释掉，然后reboot重启就可以了查看详情

关闭flinkcheckpoint，引发p3故障

...景因阿里云提示机器有故障，会在第二天早高峰自动重启，按照之前运维操作，提前做好通知后，在集群非高峰期将机器踢出集群。踢出集群时该机器上运行的TaskManagerPod会挂掉，Flink会在其他正常机器上申请... 查看详情

aix小机巡检脚本，保存小机信息

#!/usr/bin/sh FILE_DATE=`/usr/bin/date+%Y%m%d` HOSTNAME=`hostname`#GetSerialnumberSERIAL=`lscfg-vplsysplanar0|grep-p"System:"|grep"Machine/Cabinet"`if[[$?-eq0]];then 查看详情

模拟raid10故障如何修复

...载的情况下，确保故障磁盘停止工作。我们先用reboot命令重启然后重新查看磁盘阵列状态，发现故障磁盘已经不在工作。第五步此时可以取消挂载（如果之前把磁盘阵列加入开机自动挂载配置文件中）准备添加... 查看详情

aix如何做raid0

...20块硬盘，前10块硬盘划成RAID5,后10块硬盘划成RAID10）(在小机中有两块内置硬盘HDISK0,HDISK1均为ROOTVG）RAID5LUN1LUN2RAID10LUN3LUN4LUN5这样在AIX操作系统中看到的是：#lspvhdisk0rootvghdisk1rootvghdisk2.....hdisk6就是说：在AIX中认为查看详情

重启大法失效？详述oracle11g因jdbcbug引发异常librarycachelock等

...两次一样的问题，应该是这个原因引起的。重点：为什么重启应用无法解决？1、killsession：故障发生后数据库端进行killsession操作，但是因为有连接池，所以连接池会尝试重连数据库，kill后的重连在连接池上几乎是并发的，因此... 查看详情

aix卷组下文件系统在线扩容

一台AIX小机因生产需要对/sapdata目录进行扩容，由原来的90G扩容到210G，增加120G的空间.AIX小机后端通过光纤交换机连的EMC存储。首先在EMC存储上把空闲的硬盘做RAID，划分LUN，映射到生产AIX小机。 EMC划完LUN映射完后，在AIX小机... 查看详情

vmware提示:没有更多空间可供虚拟磁盘"***.vmdk"使用所引发的故障及处理

...就启动不了。报错如下图： “没有更多空间可供虚拟磁盘“*.vmdk”使用，也许可以通过释放相关卷上的磁盘空间并单击“重试”继续此会话，单击“取消”可终止此会话。问题分析：查看共享存储的剩余空间仅剩查看详情

win10蓝屏提示yourpc/deviceneedstoberepaired

...，根据配置更新驱动！！参考技术AU盘安装系统，并要求磁盘分区。1、制作启动盘。（W7系统4GU盘，XP系统2GU盘）下载老毛桃或者大白菜U盘制作软件，安装软件，启动，按提示制作好启动盘。2 查看详情

关于网络心跳与磁盘心跳超时多久会引发节点重启的问题

最近时间，一从事系统运维的同事问我，说，因为需要调整网络，需要对一套生产中的RAC的期中一台主机的网络心跳线插拨一次，因为走停机检修手续流程太长，想利用oracle的心跳可延迟时间内插拨完... 查看详情

我是小机aix+oracle，网络短时间中断又自动恢复，查出根本原因没商量

生产环境中，一台小机，操作系统为AIX，运行的为Oracle数据库，在一天早上，收到短信告警，ping不通了，可奇怪的是，过一会儿，又自动恢复了。生产系统数据库服务器ping不通，... 查看详情

checkpoint重启后gaia无法启动的故障解决记录

...，有一台独立的smart-1管理。设备系统为R77.30 客户在重启设备后，发现防火期https页面打不开，只能ssh登陆设备，并且在sms中查看到两台防火墙都断线。并在远程技术的支持下执行cpstart后还是处于断线状态。二、故障判断到... 查看详情

关闭flinkcheckpoint，引发p3故障

开机故障中的mbr引导故障的排查

...盘（这里创建的过程参见http://blog.51cto.com/13659301/2103901）重启后查看创建好的磁盘然后我们对sdb这个磁盘进行分区操作分好区之后需要进行格式化才可以进行挂载操作格式化之后，要现在根目录下创建一个挂载点，然后将sdb1挂载... 查看详情

aix系统谨慎使用reboot命令

...AIX6，使用了HACMP管理共享磁盘。在停机维护时间段内需要重启主机，当关闭了数据库和CLUSTER后，节点1使用reboot命令重启操作系统，等了很长时间，系统仍然没有启动的迹象，不得以到机房中检查，发现服务器处于关机状态。手... 查看详情