久久天堂网-成人网18免费网站-日日欧美-中文字幕无线码中文字幕免费|www.sjyhzx.com

故障表現：虛擬化云平臺自10月底份開始，有些虛擬機陸續出現死機與無法啟動現象，工作人員發現后，有些不重要的測試環境系統的虛機刪除后重建，平臺維持運行至11月26日，出現大面積虛擬機宕機，發現其中一臺物理機內存有問題，更換內存重啟動后，發現在此節點所有虛擬機丟失。

現場處理：運維工程師發現問題后，及時把在其他節點運行的約60個虛擬機遷移到VmwareESXi平臺，12月1日XenServer虛擬化平臺停機，DD命令扇區對扇區備份vGate共享存儲的所有共享卷至另外一臺華三存儲。

故障追溯：本XenServer虛擬化平臺初期部署為6臺4路512G內存浪潮服務器，配置為3個資源池，共享惠普3par存儲的16個卷，在10月12日擴容增加4臺相同配置4路浪潮服務器，后在11月26日因后來擴容的服務器中其中一臺服務器更換內存，內存更換完畢后，重新啟動，出現故障。

故障分析：分析從XenServer虛擬化備份出來的各個卷的數據，發現所有vGate共享存儲不同程度存在問題，其中12個vGate共享存儲卷被格式化，GIS01、GIS09等多個卷修復重建PV后LV起始位置沖突。

損壞嚴重的GIS09卷發現以下情況： 

1. 增量入庫_81虛擬機VDI丟失（存儲位置：28800Sec-420294784Sec）

2. 新建虛擬機一的VDI（虛擬盤1交換區存儲位置：28800Sec-33665151Sec，系統虛擬盤：33665152Sec-54694015Sec-）

3. 新建虛擬機二的VDI（虛擬盤1交換區存儲位置：54694016Sec-88330367ec，系統虛擬盤：88330368Sec-151384191Sec-）

4. 新建虛擬機二的VDI（虛擬盤1交換區存儲位置：151384192Sec-181020543Sec，系統虛擬盤：181020544Sec-248074367Sec-）

5. 新建虛擬機二的VDI（虛擬盤1交換區存儲位置：248074368Sec-281710719Sec，系統虛擬盤：281710720Sec-348764543Sec-）

6. 原本屬于“增量入庫_81虛擬機VDI”200GB的348764544Sec-420294783Sec區域為空閑狀態。具體關系圖示如下   

      

       
   以下為實際的GIS09的VDI分布截圖     

第一個16號新建的Linux虛擬機的16G交換卷，覆蓋了200VDI的VHD索引部分，造成關鍵數據覆蓋損壞 

新建的30G容量的Linux系統 

第二個新建的Linux系統虛擬機的16交換卷

新建的30G的linux系統虛擬機的系統

新建的第四個Linux虛擬機的交換卷 

新建的30G第四個虛擬機的Linux系統

故障之前應該是這幾個屬于一個200G的需要恢復的增量81的虛擬機

虛擬內部數據（利用模板新建的Linux系統，四個一模一樣的數據和更改創建時間）

虛擬內部數據（利用模板新建的Linux系統，四個一模一樣的數據和更改創建時間）

虛擬內部數據（利用模板新建的Linux系統，四個一模一樣的數據和更改創建時間）

虛擬內部數據（利用模板新建的Linux系統，四個一模一樣的數據和更改創建時間）

經過修復后可見的殘存的數據 

數據的內容，可見被破壞的200G系統內元系統的接受的報文內容，說明這一區域是原本屬于期望恢復的增量入庫_81虛擬機 

故障結論：部分虛擬機應為vGate共享寫入沖突，造成不可逆的覆蓋破環。 

故障事故總結原因：

1.增加后來擴容的物理機部署有問題（后來增加的物理機與原來的物理機對vGate存儲不是共享關系或缺少仲裁關系）

2.清空數據的卷是否屬于誤操作（添加vGate時是否有格式化操作）

3.其他未知原因