GaussDB运维管理案例分析—实例删除失败

现象描述
GaussDB实例删除失败。
可能原因
GaussDB Service服务不正常，或者IAAS服务不正常，回收站备份失败。
定位思路
查看实例删除的告警信息，在Service OM查看删除失败的报错信息，查看实例删除的失败步骤。
处理步骤
1、使用浏览器，通过地址“httPS://ManageOne运维面主页的访问地址:31943”，登录ManageOne运维面，或通过地址“https://ManageOne主门户的访问地址”，登录ManageOne主门户，选择“运维中心（OC）”，进入ManageOne运维面。
1）密码方式：输入帐号和密码。
a.默认帐号：bss_admin。说明：如果是升级场景，默认帐号为admin。
b.默认密码：参见《华为云Stack 8.2.1 帐户一览表》的“A类（Portal）”页签中，“ManageOne运维面”帐户对应的默认密码。
2）USB Key方式：插入已预置用户证书的USB Key，选择设备和用户证书，并输入PIN码
2、在“集中监控 > 告警管理 > 当前告警”中查看集中告警，并处理告警信息，获取告警中的实例ID（instance_id）或者工作ID。


3、选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入获取的实例ID或工作流ID，执行搜索，查看“当前状态”为失败的任务。


“失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。


4、根据task执行结果，定位不同的故障场景操作。
场景一：删除备份策略（Gaussdbv5BackupPolicyDeletionTask）执行失败。按以下方法重启备份管理服务，排除备份管理服务故障后通过Service OM重做失败Task。
a.以opsadmin用户名登入节点。
b.执行以下指令，切换到root用户。
sudo su - root
c.执行以下指令，切换到service用户。
su - service
d.执行如下命令，重启tomcat进程。
cd /opt/cloud/GaussDB-backupmanager/bin/
./shutdown.sh
./startup.sh
e.在步骤3的“树表”页面，单击Gaussdbv5BackupPolicyDeletionTask的下拉按钮，选择“重做”任务。
场景二：Iass删除资源失败（Gaussdbv5DeleteDBInstanceTask或下一个Task Gaussdbv5CheckVMDeletionResultTask执行失败），根据3中展示的失败概览，分析失败原因。
a.如失败概览中有类似“network”“ping”的错误信息，表示网络不通，联系运维排查网络故障原因，解决网络问题后在步骤3的“树表”页面，单击上述执行失败的“Gaussdbv5DeleteDBInstanceTask”或“Gaussdbv5CheckVMDeletionResultTask”task的下拉按钮，选择“重做”任务。
b.如失败概览中有类似“iaas”“ecs”的错误信息，表明是IASS服务异常，删除资源失败，联系运维排查IAAS故障原因，修复问题后在步骤3的“树表”页面，单击上述执行失败的“Gaussdbv5DeleteDBInstanceTask”或“Gaussdbv5CheckVMDeletionResultTask”task的下拉按钮，选择“重做”任务。
场景三：回收站备份失败（Gaussdbv5RecycleBackupTask或下一个Gaussdbv5CheckRecycleBackupTask执行失败），查看子任务流并根据3中展示的失败概览，分析失败原因。
a.如RdsExportDbStatusCheckTask执行失败，表示备份导出失败，检查环境到OBS的网络是否异常，联系运维排查备份失败原因，解决备份失败问题后在步骤3的“树表”页面，单击上述执行失败的“RdsExportDbInitTask”task的下拉按钮，选择“重做”任务。
5、若以上步骤仍不能解决问题，收集日志和告警信息，联系技术支持进行处理。
需要下载的日志信息有：
管理侧：
•DBS-GaussDB-backupmanager组件下的日志。
•DBS-GaussDB-instancemanager组件下的日志。
租户侧：
agent组件下的：
•/home/Ruby/log/agent.log
•/home/Ruby/log/asyncJobResult.dat
•/home/Ruby/log/om_agent/agent.log
GaussDB Kernel组件下的：/var/lib/log/Ruby