4 月 8 日騰訊云出現(xiàn)大范圍故障，騰訊此次故障主要影響產(chǎn)品控制臺例如用戶無法通過 Web 界面對服務器或其他產(chǎn)品進行操作，云公原因當然由于是布月并產(chǎn)鄭州二七外圍女兼職伴游服務vx《192-1819-1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達 API 問題實際上也無法通過 API 執(zhí)行各類操作。

此次故障對于服務器等產(chǎn)品本身是日大容性沒有影響的，即服務器仍然是范圍正常運行的只不過用戶無法執(zhí)行操作，其他產(chǎn)品例如 CDN 和域名解析等也是故障同理。

昨天騰訊云公眾號發(fā)布 4 月 8 日的升級生兼生循故障復盤及情況說明，簡單來說是問題發(fā)布新版 API 時出現(xiàn)了兼容性錯誤：

故障的直接原因是云 API 服務行版本向前兼容性考慮不夠和配置數(shù)據(jù)灰度機制不足的問題。本次 API 升級過程中，環(huán)依鄭州二七外圍女兼職伴游服務vx《192-1819-1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達由于新版本的賴藍接口協(xié)議發(fā)生變化，在后臺發(fā)布新版本之后對于舊版本前端傳來的點網(wǎng)數(shù)據(jù)處理邏輯異常，導致生成了一條錯誤的騰訊配置數(shù)據(jù)。

由于灰度機制不足導致異常數(shù)據(jù)快速擴散到了全網(wǎng)地域，云公原因造成整體 API 使用異常。布月并產(chǎn)

然后還有循環(huán)依賴問題：

發(fā)生故障后按照標準回滾方案將服務后臺和配置數(shù)據(jù)同時回滾到舊版本并重啟 API 后臺服務，日大容性但此時因為承載 API 服務的容器平臺也依賴 API 服務才能提供調(diào)度能力，即發(fā)生了循環(huán)依賴 (需要安裝 WinRAR 時下載網(wǎng)站給你了個 WinRAR.rar)

發(fā)生循環(huán)依賴的后果就是服務無法自動拉起，最終運維通過手工啟動方式才讓 API 服務重啟，完成了整個故障的恢復。

針對此次問題騰訊云也汲取教訓制定了改進措施：

改進措施里就有針對循環(huán)依賴問題的解決方案，包括提供優(yōu)化服務部署架構(gòu)，通過分層架構(gòu)、代碼審查和監(jiān)控等手段，避免 API 服務中存在的循環(huán)依賴問題。

同時還要提供 API 服務逃生通道，當故障發(fā)生后可以提供調(diào)用方法快速切換。

針對 Status 頁面的透明度問題：

透明度問題目前是國內(nèi)云計算提供商都存在的問題，即問題發(fā)生后狀態(tài)頁面還顯示一切正常，這讓很多用戶看了狀態(tài)頁后以為是自己問題。

騰訊云此次故障狀態(tài)頁同樣沒有及時更新，原因是狀態(tài)頁也依賴 API，但此時 API 已經(jīng)寄了，所以騰訊云計劃將狀態(tài)頁解除對云 API 等云服務的依賴，確保云服務故障時狀態(tài)頁依然能準確及時傳遞 故障信息。

最新評論