【備戰雙十一】新一代運維的價值

2018-11-02 15:02

雙十一又来了,今年是第10个年头。

 

對於大部分人意味着剁手,可對於N多背後護持雙11的IT人來說,那就是赤果果的——Just剁 IT!

 

每逢“双十一”最緊張的不是商鋪理貨,也不是網友緊盯大促商品準備秒殺,而是網購幕後的運維人員,他們最擔心:什麼網絡中斷、應用卡頓、響應速度慢,服務器宕機……

 

雙十一作爲電商 IT 部門的頭等大事,大促前,運維人員就需要早早地做好多套預備方案,並時刻緊繃着神經,經歷着上百次模擬演練。他們在後端有多少不眠不休的夜晚,不得而知。幾年前,一場秒殺讓服務器宕機是常態,現在,一秒數十萬的訂單,服務器依然堅挺。毫無疑問,支撐起這一切的是強有力的技術和運維人一個個不眠的夜晚。

 

看似簡單的雙十一背後牽扯到是包括支付、架構、數據庫、網絡、運維、電力、客服、物流等整個商業配套基礎設施的協同和考驗。

 

雙十一大促的那些年 运维迈过的坑

天貓雙十一大促最早開始於 2009 年,那時候還是淘寶商城,一天的 GMV 只有幾千萬,而且還沒有零點全民瘋搶的概念。在大促前工程師們基本上會根據各自的經驗判斷,比如服務器的當前負載、應用的當前 RT 和 QPS,判斷每臺服務器最大能支撐多少能力等,然後幾個人討論後就決策拍板,某某核心應用各自要加多少臺服務器,到底要加多少服務器,實際上大家的心裏沒底,實在不放心臨時再多申請擴容。總之這個階段業務量也小,也能應付過去。

 

後來幾年隨着天貓品牌的提升,雙十一大促逐年爆發,原來的運維方式已經無法適用。業務發展迅速,後端的應用數量也大大增加,各個應用系統之間的調用鏈路錯綜複雜。大促前到底要準備擴容多少資源?不能拍腦袋熱,因爲你申請資源太多會可能被拒絕,申請少了你要承擔更大的風險。

 

這時候用線上壓測的方式來解決,比如可以直接在生產環境抽取 1 臺服務器,通過模擬回放或者直接引入多倍流量做壓測,根據壓測結果計算出單臺服務器的最大可承載能力,然後用數字來說話,去申請擴容。還有就是即使容量規劃做到位了,但在零點峯值的時候還是可能會超出預期,系統還是會擠爆。所以又引入了限流和降級,限流就是對各個應用設置一個最大閾值,超過閾值就立刻拒絕新的請求,這樣的好處就是保護應用,避免雪崩。

 

還有就是降級,由於應用太多,在大促的期間,可以關閉部分非核心功能,保證交易主流程的能力最大化。那個階段的壓測也不是完全精確的,主要問題是壓測的侷限性,只是對某個應用做單獨壓測,但是應用之間是有依賴有關聯的,特別是一些共享服務中心,基本上被所有應用都依賴調用,那怎麼辦呢?後來幾年時間又研發出新的壓測工具,全鏈路壓測。這個對於容量規劃來說,是全新的思路,直接在生產環境上通過模擬複製產生大批的流量,每個環節都會被壓測到,並有相應的監控系統配套,來找出瓶頸點在哪裏,並迅速優化。而且這個過程被自動化完成。

 

可見,自動化運維是大勢所趨。

 

零點瘋搶背後的運籌帷幄

現在的電商雙十一大促活動仍舊延續零點瘋搶模式,對於應用系統保障來說,能否順利扛過前 15 分鐘,甚至是前幾分鐘,成爲最核心的保障任務。運維界大咖給出了以下幾點建議:能否順利扛過前 15 分鐘,甚至是前幾分鐘,成爲最核心的保障任務。具體給出了以下幾點建議:

  1. 容量規劃。 儘可能在生產環境做壓測,只有經歷過壓測,心裏纔會有底。
  2. 關鍵應用要支持限流。 零點全民瘋狂的流量很可能會超出預期,只有設置好限流才能保護好自身應用,否則出現雪崩式連鎖反應。
  3. 對非核心功能做降級。 每次雙十一會投入大量的資源,基本會往核心交易類應用傾斜,那麼非核心功能的降級一定程度上是可接受的。
  4. 應急預案。 對可能發生的異常狀況提前準備。

 

雙十一大促是最典型的弹性场景

彈性是雲計算的最大優勢,而大促是最典型的彈性場景。

 

隨着雲計算特別是公有云的普及,現在的運維人員基本上無需關注機房、網絡、操作系統等底層設施。在不斷地演練後,如今的電商平臺早已採用彈性可擴展的雲計算平臺,配合分佈式數據,高效的 CDN 分發來實現負載均衡,避免在雙十一凌晨高併發狀態下崩盤。運維人員將更多精力轉移到快速上線,快速迭代,去支持業務發展。

 

大促活動的流量跟日常完全不在一個量級,完全可以利用雲資源的按需使用,來達到擴容的需求,而且在成本上是巨大的節省。除了擴容以外,當然還需要準備應急預案,整理出當天可能出現的異常情況,提前預演。

 

除去上述,所有運維團隊還需要提前制定值班計劃,對雙十一當天可能發生的各種突發情況預案,雙十一各時段應該關注的關鍵點進行詳盡計劃。總之,每年雙十一都是一次檢驗,一次大考。細節決定成敗,對全體運維人而言,必須所有細節都關注到,演練到,準備到,才足以從容應對每一年的雙十一大促。

 

平臺的選擇至關重要 

選擇一個好的服務商對於電商企業至關重要,神州光大是利用共享經濟模式,通過互聯網平臺聚合工程師資源,爲客戶提供有質量保證的按需使用工程師資源的IT服務的互聯網平臺公司。

 

諸如雙十一這樣的彈性場景,除了對設備、計算資源等需求會出現爆發式增長,這期間對工程師需求也會大大增加,神州光大廣泛的工程師資源,隨時滿足客戶各種場景下的人員需求,新增設備的安裝調試、大促前的巡檢、突發的緊急故障神行工程師都可以快速響應並提供現場服務。幫企業順利度過雙十一。