盡在雙11 阿裏巴巴技術演進與超越

盡在雙11 阿裏巴巴技術演進與超越 pdf epub mobi txt 电子书 下载 2025

阿裏巴巴集團雙11技術團隊 著
圖書標籤:
  • 阿裏巴巴
  • 雙11
  • 技術
  • 互聯網
  • 電商
  • 架構
  • 分布式係統
  • 雲計算
  • 大數據
  • 性能優化
想要找书就要到 求知書站
立刻按 ctrl+D收藏本页
你会得到大惊喜!!
出版社: 电子工业出版社
ISBN:9787121309175
版次:1
商品编码:12152188
品牌:Broadview
包装:平装
开本:16开
出版时间:2017-04-01
用纸:纯质纸

具体描述

産品特色

編輯推薦

看過這部著作的人這樣評價:

★經曆618、雙11等大促考驗,驅動阿裏電商架構體係不斷迭代升級

★濃縮瞭諸位阿裏技術大牛多年對網站係統升級迭代的創新、技術、實踐和積纍

★世界級的穩定性保障體係是如何建立的?

★技術發展的同時是怎樣推動商業升級與變革的?

★移動端技術創新對人們的衣食住行到底産生瞭怎樣的影響?

★怎樣賦能商傢促進整個生態繁榮與發展?

★本書針對以上問題全麵精煉生動地進行剖析

★揭秘世界奇跡雙11背後的技術演進與創新

★這是雙11八年成長經驗與技術創新的總結

★也是阿裏成長中摸索齣的方法和方嚮的匯聚

★更是諸多技術同學與技術大神的傾囊分享

★瞭解億級流量網站必備!!


內容簡介

  “雙11”,誕生於杭州,成長於阿裏,風行於互聯網,成就於新經濟,貢獻於全世界。

  從2009年淘寶商城起,雙11已曆經八年。每年的雙11既是當年的結束,又是走嚮未來的起點。技術的突破創新,商業模式的更替交互,推動著雙11邁步嚮前。

  本書是由阿裏巴巴集團官方齣品、全麵闡述雙11八年以來在技術和商業上演進和創新曆程的書籍。內容涵蓋在雙11背景下阿裏技術架構八年來的演進,如何確保穩定性這條雙11生命綫的安全和可靠,技術和商業交織發展的曆程,無綫和互動的持續創新與突破,以及對商傢的賦能和生態的促進與繁榮。

  本書主要麵嚮廣大互聯網技術和商業從業者,內容包括基礎設施、雲計算、大數據、AR/VR、人工智能、物聯網等技術領域的剖析,以及在電商、金融、客服、物流等商業層麵的洞察;同時,本書也可以作為瞭解科技與商業發展的一個窗口,供科研人員和高校在校師生參考。

  本書也包含豐富的雙11發展曆程中的故事性片段,生動有趣,可讀性強,讀者可以在由衷感嘆雙11背後艱辛的演進曆程之餘,更為透徹地體會到阿裏人在技術和商業創新上堅韌不拔、矢誌不渝的精神。


作者簡介

  阿裏巴巴雙11技術團隊:負責雙11所有産品的開發,保障係統穩定性和用戶體驗,覆蓋瞭幾乎阿裏所有事業部的技術團隊,由天貓、手淘、業務平颱、淘寶、螞蟻、聚劃算、中間件、搜索、菜鳥、阿裏雲、安全、基礎架構、商傢事業部、AliExpress、飛豬、阿裏健康、數據平颱、村淘、阿裏媽媽、集團客服、釘釘、阿裏通信、優酷等二十多個BU共同組成的技術團隊。

精彩書評

  高管推薦:

  本書以雙11為著眼點,從技術的角度,展示瞭阿裏巴巴的演進、變革與發展,係統地闡述瞭阿裏巴巴重要階段的技術進步曆程。進無止境,我們希望將我們的經驗分享給更多人,並希望與大傢一起共同探索未來。

  ——張勇,阿裏巴巴集團CEO

  我力薦這本書,它是對“雙11”技術演進客觀、翔實的還原。

  ——行癲,阿裏巴巴集團CTO


目錄

序一 IX

序二 X

雙11大事年錶 XII

引言 XIII


第1章 阿裏技術架構演進 1

雙11是阿裏技術發展的強大驅動力,雙11業務的快速發展造就瞭阿裏具備高度水平伸縮能力、低成本的電商架構體係。這個架構體係是如何一步一步形成的呢?在形成過程中阿裏遇到瞭哪些問題,做瞭哪些嘗試,最終用什麼樣的思路、方法和技術解決瞭問題?

1.1 五彩石,電商架構新起點 3

1.2 異地多活,解除單地域部署限製的新型雙11擴容方式 9

1.3混閤雲,利用阿裏雲彈性大幅降低雙11成本 17

1.4 OceanBase,雲時代的關係數據庫 23

1.5 手機淘寶,移動互聯網電商新時代 30

1.6 螞蟻技術架構演進 36


第2章 穩定,雙11的生命綫 43

雙11最大的睏難在於零點峰值的穩定性保障。麵對這種世界級的場景、獨一無二的挑戰,阿裏建設瞭大量高可用技術産品,形成瞭全鏈路一體化的解決方案,用更加逼真和自動化的方式,去評估、優化和保護整個技術鏈條,最大化地為用戶提供穩定可靠的服務。

2.1 容量規劃,資源分配的指南針 45

2.2 全鏈路壓測,大促備戰的核武器 51

2.3 全鏈路功能,提前開始的狂歡盛宴 58

2.4 自動化備戰,喝著咖啡搞大促 65

2.5 實時業務審計,從係統可用到業務正確 70

2.6 故障演練,係統健壯性的探測儀 75

2.7 係統自我保護,穩定性的最後一道屏障 82


第3章 技術拓展商業邊界 89

雙11業務驅動技術發展的同時,技術的創新與發展也不斷推動著商業模式的升級與變革,實踐著技術拓展商業的邊界。

3.1 招商報名,活動基礎設施建設 91

3.2 會場,小二與商傢共同打造的購物清單 99

3.3 搜索,大促場景下智能化演進之路 107

3.4 個性化推薦,大數據和智能時代的新航路 114

3.5 供應鏈,從飛速增長到精耕細作 120

3.6 螞蟻花唄,無憂支付的完美體驗 127


第4章 移動端的技術創新之路 133

從2010年開始,國內爆發瞭從PC嚮移動端技術和業務的持續遷移,移動深刻地改變著人們的衣食住行和人際交往。阿裏的雙11始於2009年,正好經曆瞭移動互聯網崛起的全程,雙11在移動端的主要創新有哪些呢?

4.1 Weex,讓雙11更流暢 135

4.2 互動,讓購物變成狂歡 143

4.3 VR&AR;,移動端創新體驗 153

4.4 奧創&TMF;,讓雙11多端業務騰飛 163


第5章 繁榮生態,賦能商傢 171

雙11從阿裏內部員工的一個點子到全球購物狂歡節,其背後支撐是服務、物流、大數據、雲計算、金融服務等,是商傢自身業務結構的調整、消費者消費習慣的轉變、第三方開發者的大量入駐,以及整個生態的變遷。

5.1 聚石塔,開放的電商雲工作颱 173

5.2 菜鳥電子麵單,大數據改變物流 179

5.3 生意參謀,數據賦能商傢的“黑科技” 184

5.4 阿裏小蜜,用智能重新定義服務 191

5.5 阿裏中間件,讓傳統企業插上互聯網的翅膀 198

5.6 螞蟻金服,金融機構間協同運維的探索和實踐 205


展望 213

索引 216


精彩書摘

  2.2 全鏈路壓測,大促備戰的核武器

  全鏈路壓測被譽為大促備戰的“核武器”。如果之前關注過阿裏雙11相關的技術總結,對全鏈路壓測一定不會陌生,這個詞的齣場率幾乎是100%,從對雙11穩定性的價值來看,用“核武器”來形容全鏈路壓測毫不為過。

  2.2.1 背景

  曆年的雙11備戰過程中,最大的睏難在於評估從用戶登錄到完成購買的整個鏈條中,核心頁麵和交易支付的實際承載能力。自2009年第一次雙11以來,每年雙11的業務規模增長迅速,零點的峰值流量帶給我們的不確定性越來越大。2010年,我們上綫瞭容量規劃平颱從單個點的維度解決瞭容量規劃的問題,然而在進行單點容量規劃的時候,有一個前提條件:下遊依賴的服務狀態是非常好的。實際情況並非如此,雙11 零點到來時,從CDN到接入層、前端應用、後端服務、緩存、存儲、中間件整個鏈路都麵臨著巨大流量,這時應用的服務狀態除瞭受自身影響,還會受到環境影響,並且影響麵會繼續傳遞到上遊,哪怕一個環節齣現一點誤差,誤差在上下遊經過幾層纍積後會造成什麼影響誰都無法確定。所以除瞭事先進行容量規劃,還需要建立起一套驗證機製,來驗證我們各個環節的準備都是符閤預期的。驗證的最佳方法就是讓事件提前發生,如果我們的係統能夠提前經曆幾次雙11,容量的不確定性問題也就解決瞭。全鏈路壓測的誕生就解決瞭容量的確定性問題!

  2.2.2 全鏈路壓測1.0從無到有

  提前對雙11進行模擬聽起來就不簡單,畢竟雙11的規模和復雜性都是空前的,要將雙11提前模擬齣來,難度可想而知:

  ? 跟雙11相關的業務係統有上百個,並且牽涉整條鏈路上所有的基礎設施和中間件,如何確保壓測流量能夠通暢無阻,沒有死角?

  ? 壓測的數據怎麼構造(億萬級的商品和用戶),數據模型如何與雙11貼近?

  ? 全鏈路壓測直接在綫上的真實環境進行雙11模擬,怎樣來保證對綫上無影響?

  ? 雙11是一個上億用戶參與的盛大活動,所帶來的巨大流量要怎樣製作齣來?

  2013年8月中旬,當時高可用架構團隊的負責人叔同(叔同:高可用架構&運維産

  品&基礎産品團隊負責人、資深技術專傢)接下瞭這個巨大的挑戰:打造一套全鏈路壓測平颱。平颱需要在2013年雙11之前上綫,錯過瞭這個時間點,我們就必須再等一年。從立項到雙11,留給我們的時間隻有短短兩個多月,時間非常緊,我們需要在這麼短的時間裏應對一係列曆史級的挑戰。2013年阿裏搬到西溪園區,其他同學都是搬到新工位,全鏈路壓測項目組直接搬到瞭項目室,進行閉關攻堅。

  業務改造升級

  2013年核心交易鏈路就有幾十條,牽涉多個BU的幾百位研發人員,這些業務鏈路絕大部分是沒法直接壓測的,需要進行相應的業務改造和中間件的升級。推動幾百號人在短時間之內完成業務的改造在很多公司幾乎是不可能完成的,何況還牽涉中間件的升級,中間件的升級一般會有一個相對比較長的周期,有不少業務係統的中間件版本都非常古老(5年前的版本),需要確保無風險直接升級到最新版本。

  在業務端我們需要逐條鏈路進行一一梳理,從請求進來的係統到請求的最後一個環節(復雜的業務會經過幾十個係統),每一個有阻壓測流量往下走的地方都進行特殊的邏輯改造。改造的業務點牽涉100多個,包括登錄驗證碼、安全策略、業務流程校驗等。在基礎設施和中間件上,我們需要讓業務係統的代碼盡可能不需要修改,通用的技術通過基礎設施和中間件來屏蔽掉,比如壓測流量的標識怎樣在整個請求的生命周期中一直流轉下去,怎樣來對非法的請求進行攔截處理。

  參與全鏈路壓測改造的技術人員體現瞭良好的協作精神和執行力,為瞭同一個目標齊頭並進、相互補位,原本認為幾乎不可能的事情,最終在一個月內完成瞭相應的業務改造和中間件升級。

  數據構造

  數據構造有兩個核心點:

  ? 雙11的買傢、賣傢、商品數量都非常龐大,需要構造同數量級的業務數據;

  ? 需要確保業務數據的模型盡可能貼近雙11零點的真實場景,否則全鏈路壓測結果的誤差會比較大,參考的價值將會大打摺扣。

  為此我們專門搭建瞭全鏈路壓測的數據構造平颱,對業務模型進行係統化的管理,同時完成海量業務數據的自動化構造,如圖2-5所示。

  數據構造平颱以綫上數據為基礎,藉助數據dump(dump:在特定時刻,將儲存裝置或儲存裝置之某部分的內容記錄在另一儲存裝置中)工具進行數據的抽取,並對關鍵數據進行相應的處理(脫敏、訂正等)後進入基礎數據池備用。基礎數據池是壓測數據的超集,具體壓測數據的構造基於基礎數據集進行數據的再加工。

  除瞭需要有足夠量級的數據,我們要解決的另一個問題是數據的模型應該是怎樣的。藉助BI工具結閤預測算法對數據進行篩選建模,並結閤每一年雙11的業務玩法進行修訂,産齣一份最終的業務模型。業務模型的因子牽涉幾百個業務指標,包含買傢數、買傢類型、賣傢數、賣傢類型、優惠種類、優惠比例、購物車商品數、BC比例、移動PC比例、業務的量級等。

  數據隔離

  全鏈路壓測要不要做數據隔離、怎樣來做數據隔離,在項目立項階段經過瞭非常多的討論甚至爭吵。在最開始的時候,我們想做邏輯隔離,直接把測試數據和正常數據寫到一起,通過特殊的標識區分開,這個方案很快就被放棄瞭:綫上數據的安全性和完整性不能被破壞。接下來我們提齣瞭另一個方案,在所有寫數據的地方做mock(mock:軟件開發概念,指模擬),並不真正寫進去,這個方案不會對綫上産生汙染,但評估時還是被放棄瞭:mock對壓測結果的準確性會産生乾擾,而我們需要一個最貼近實際行為的壓測結果。

  經過反復討論,最終我們找到瞭一個既不汙染綫上,又能保障壓測結果準確性的方案:在所有寫數據的地方對壓測流量進行識彆,判斷一旦是壓測流量的寫,就寫到隔離的位置,包括存儲、緩存、搜索引擎等。

  4. 流量構造

  雙11是一場“剁手黨”的狂歡,零點的峰值流量是平時高峰的幾百倍,每秒幾百萬次的請求如何構造同樣成為大難題。我們嘗試通過瀏覽器引擎或者一些開源壓測工具的方式來模擬用戶請求,經過實際測試,要製作齣雙11規模的用戶流量,瀏覽器引擎和開源壓測工具需要準備幾十萬颱服務器的規模,成本是無法接受的,並且在集群控製、請求定製上存在不少限製。既然沒有現成的工具可以使用,我們隻好選擇自己研發一套全鏈路壓測流量平颱,如圖2-6所示。

  全鏈路壓測的流量平颱是一個典型的Master+Slave結構:Master作為壓測管控颱管理著上韆個Slave節點;Slave節點作為壓測引擎,負責具體的請求發送。Master作為整個壓測平颱的大腦,負責整個平颱的運轉控製、命令發送、數據收集、決策等。Slave節點部署在全球各地的CDN節點上,從而模擬從全球各地過來的用戶請求。整套全鏈路壓測的流量平颱在壓測過程中平穩輸齣1000多萬/秒的用戶請求,同時保持過億的移動端用戶長連接。

  正式上綫

  在兩個多月的時間裏,項目組的成員披星戴月,有一半時間在通宵,另外一半時間是淩晨3點以後下班。2013年10月17日淩晨的1號樓,全鏈路第一次登颱亮相(如圖2-7所示),這一天對整個全鏈路壓測項目組的人都意義非凡,辛苦瞭兩個多月的“大殺招”終於要派上用場瞭!當壓測開始的按鈕被按下去,大傢都全神貫注地盯著各種係統等著流量上來,1分鍾、2分鍾過去瞭,我們的業務係統卻絲毫沒有流量進來。忙活瞭一晚上,第一次亮相狼狽收場,當時全場有200多號人,每一次讓大傢準備好卻沒有流量發齣去的時候,麵對著全場200多雙眼睛,壓測項目組每一個成員的手都是抖的。好在第一次的失敗讓我們吸取瞭充分的經驗,又經過好幾個晝夜的奮戰,第二次的壓測比第一次進步瞭很多,到瞭第三次就已經能完全達到我們的使用預期瞭。

  2.2.3 全鏈路壓測2.0平颱升級

  全鏈路壓測誕生之後為係統穩定性帶來的改變立竿見影,2013年經過瞭幾次全鏈路壓測,雙11零點的錶現比以往任何一年都平順。全鏈路壓測也在阿裏一炮而紅,越來越多的業務希望能接入進來。

  1. 平颱化

  海量的業務接入給全鏈路壓測平颱帶來全新的挑戰:當時的全鏈路壓測操作都需要壓測項目組的成員來進行操控。隨著越來越多的業務接入全鏈路壓測平颱,壓測項目組很快就成瞭瓶頸,壓測平颱的能力急需升級。2015年,全鏈路壓測“平颱化”項目啓動,我們著手將全鏈路壓測朝著平颱化的目標推進和實施,做到壓測能力開放、業務方自主壓測,讓更多業務方能夠享受到全鏈路壓測的優勢和便利,如圖2-8所示。全鏈路壓測平颱化項目的上綫大幅提升瞭全鏈路壓測平颱的服務能力:2015年大促備戰的3個月內,壓測平颱總共受理近600多個壓測需求(比2014年提升20倍),執行壓測任務3000多次(比2014年提升30倍)。

  2. 日常化

  全鏈路壓測的壓測流量和正式流量經過的路徑是一緻的,如果鏈路中某一個節點被壓掛或者觸發限流,勢必會影響綫上用戶的正常訪問。為瞭減少影響,全鏈路壓測一般都安排在淩晨,通宵達旦,非常辛苦!為瞭減少熬夜,提升壓測幸福度,我們啓動瞭白天壓測的項目:將綫上運行的機器動態隔離齣一部分放到隔離環境中,這部分機器上隻有壓測流量可以訪問,白天在隔離環境的機器上進行壓測。隔離環境與綫上環境幾乎一樣,從流量入口、中間件、應用後端實現完整隔離。隔離環境完全打通瞭配置中心、服務注冊中心、消息中心、地址服務器等基礎設施,不需要業務係統做任何改造即可完成。並且是直接從綫上機器按照特定規則選擇到隔離環境中,機型配置跟綫上基本一緻,使用完畢之後直接恢復到綫上集群中,不會影響綫上集群的容量。大促備戰期間,我們可以白天在隔離環境中進行小目標、小範圍的全鏈路壓測,用極小的代價提前發現問題。由於隔離環境場景相對於其他綫下環境更加真實、操作快捷、不占用額外機器資源,在預案演練、破壞性測試、綫上問題排查、故障演練等其他場閤也獲得瞭比較廣泛的應用。

  2.2.4 全鏈路壓測3.0生態建設

  2016年在三地五單元混閤雲部署架構下,電商一半以上的資源部署在雲上。在龐大的電商係統背景下,如何能夠在最短的時間內完成一個單元的搭建和容量準備成為擺在我們麵前的一道難題,而全靠“經驗之談”和人工介入是不可能完成的任務。2016年初,“大促容量彈性交付産品”立項,旨在減少甚至釋放活動場景的容量交付中的人工投入,並將大促容量交付的運維能力沉澱到係統中,使全鏈路容量具備“自動化”調整的能力。我們提齣瞭大促自動化備戰的想法,將大促容量準備的各個環節進行係統層麵的打通,從業務因子埋點、監控體係、模型預測、壓測數據構造、壓測流量發送、壓測結果分析、壓測報錶進行自動化串聯,大幅縮減瞭在大促容量準備階段的人員投入和時間周期。圍繞全鏈路壓測的核心基礎設施,全鏈路壓測的周邊生態逐步建立起來,打通建站、容量、監控等配套技術體係,如圖2-9所示。

  全鏈路壓測在保障係統穩定性的同時,也為業務穩定性的保障提供瞭強有力的支持,2016年我們落地瞭全鏈路功能測試、大促功能預演等一係列項目:創造性地在隔離環境提前將係統時間設置到雙11的零點。通過在這個提前的雙11環境購買一遍雙11的商品,進行充分的業務驗證,最大限度地降低雙11當天的業務問題。

  2.2.5 總結

  每年雙11前夕,全鏈路壓測都要組織好幾次,不斷地通過壓測發現問題進行迭代優化,全方位驗證業務的穩定性,我們的業務係統也隻有在經過瞭全鏈路壓測的驗證之後纔有信心迎接雙11零點的到來。全鏈路壓測將大促穩定性保障提升到新的高度,是雙11、雙12等大促備戰最重要的“核武器”,並且隨著業務的發展不斷進化,持續發揮著不可替代的作用。

  ……

前言/序言

  推薦序

  序一

  2016年“天貓雙11全球狂歡節”又攀上瞭新的高峰——單日交易額定格在1207億元。數字背後更重要的是,在五年、十年以後迴過頭來看2016年的雙11,這是整個社會走嚮“新零售、新製造、新金融、新技術、新資源”的起點。

  正是阿裏巴巴集團堅強的技術後盾,支撐起瞭全球範圍內都難得一見的龐大且復雜的交易體係和交易規模。在2016年雙11當中,阿裏巴巴的技術團隊又創造齣非常驚人的紀錄——每秒同時創建17.5萬筆訂單以及1秒鍾同時完成12萬筆支付。正是八年雙11的鍛煉,使得阿裏巴巴集團沉澱齣瞭這樣的技術能力。

  展望未來,雲計算、大數據將成為未來社會的新引擎和新能源。我們堅信數據將在商業變革中發揮重要的作用,整個商業變革一定會跟互聯網、跟技術去完美擁抱。我們堅信這樣的變革最終會産生化學反應,産生全新的結閤和全新的價值。而這樣的價值的創造,毫無疑問會讓社會商業齣現很多新的模式、新的業態。阿裏巴巴集團希望通過各種方式,賦能給閤作夥伴和客戶,並輸齣成為商業社會的基礎設施,讓整個商業社會的變革更加高效、順暢。

  《盡在雙11——阿裏巴巴技術演進與超越》以雙11為著眼點,從技術的角度,展示瞭阿裏巴巴的演進、變革與發展,係統地闡述瞭阿裏巴巴重要階段的技術進步曆程。進無止境,我們希望將我們的經驗分享給更多人,並希望與大傢一起共同探索未來。

  張勇

  阿裏巴巴集團CEO

  

  序二

  雙11誕生的2009年,恰逢中國互聯網第三次浪潮元年。大數據、雲計算、無綫在這個時期逐漸成為主流技術。在雙11八年的發展曆程中,阿裏人從互聯網發展的大潮中汲取瞭豐富的技術能量。

  作為雙11這個阿裏巴巴最大的集團級項目的技術負責人,這八年裏,如何在技術上持續創新、調動和提升工程師的工作效能、激發戰鬥意誌和創造力是巨大的挑戰。從技術管理的角度上,我分享三點,與大傢共勉。

  第一,既要有夢想,又要有實力。如果沒有對夢想的堅持,以及對實現夢想的不懈努力,今天雙11很可能與一般的綫上大促沒有什麼區彆,更不會成為中國乃至全世界普遍關注的社會現象。阿裏巴巴是一傢使命驅動的公司,雙11是阿裏人自主創新、追逐讓天下沒有難做的生意的夢想的具體體現。同時,實現這個夢想需要有強大的技術實力作為基礎。以計算為例,雙11有大量的計算,一切關於搜索、推薦、人工智能的“夢想”都需要計算平颱的強力支撐,阿裏巴巴如果不打破傳統Hadoop框架的藩籬,自研非常高效的離綫和實時計算平颱,用戶在交易的過程中就不可能有“絲滑般的順暢感受”。

  第二,鼓勵技術創新。沒有阿裏人在技術拓展商業邊界上持續的突破,就沒有雙11持續的成功。雙11當天交易峰值較平時增長400倍,平日運轉良好的係統麵對突發的業務流量,所有的問題都會被重新定義。全鏈路一體化方案通過逼真化模擬實際大促時的流量特點,以自動化的方式評估、優化和保護整個交易鏈條,確保瞭雙11的穩定性。全鏈路方案是阿裏工程師的創造,無論在國內還是國外,都是前所未有的。類似於全鏈路壓測這樣的技術創新在雙11中還有很多。

  第三,協同的重要性。業務發展到一定階段都會遇到“飛機在全速飛行的前提下換引擎”的問題,是在現有框架下對兩個業務分彆改造,還是推倒現有模式建立一個技術共享的新模式?這不僅是對架構能力的挑戰,更是對團隊的協同作戰能力的考驗。五彩石項目就是一個生動的例子。作為該項目的負責人,我親曆瞭將淘寶網和淘寶商城(後更名天貓商城)兩個係統,在會員、商品、交易、店鋪、優惠積分等數據層麵打通的全過程。五彩石項目是一次協同角度上的偉大的技術變革,提齣瞭“共享服務化”的理念,為包括雙11在內的幾乎所有阿裏業務所采納,並與分布式中間件架構一起成為互聯網電商業務事實上的標準。

  我推薦《盡在雙11——阿裏巴巴技術演進與超越》這本書,它是迄今為止對雙11技術演進最客觀、最詳實的還原。無論是互聯網工程師,還是商業領域的從業者,以及工程或商業專業的在讀學生,都可以從書中找到自己感興趣的內容。

  最後,在閱讀這本書的過程中,那些年、那些人、那些事兒重新迴到眼前。謝謝所有參與《盡在雙11——阿裏巴巴技術演進與超越》撰寫的同學們,你們用另一種方式又走過瞭一遍雙11。

  行癲

  阿裏巴巴集團CTO

  

  引言

  不知不覺中雙11已經走過瞭八年,從剛開始的全新概念,到現在的舉世關注,有偶然也有幸運的成分,但是細細數下來,每一步,每一刻,都是好多人殫精竭慮、費盡心思的結果。對技術而言,每一年的雙11都是一場嚴峻的考驗,從被流量衝擊得潰不成軍,被迫奮起抗擊,到現在通過技術的力量不斷改寫雙11的用戶體驗和參與感,阿裏的技術伴隨著雙11成長起來,強壯起來,自信起來。

  從組織上來說,雙11從第一年的突發奇想,野生無序,逐漸發展下來,已經成為一場整個阿裏及其生態聯動的戰役,雙11已經不僅僅是天貓的雙11,也不僅僅是阿裏所有事業單位的雙11,而是整個互聯網生態的雙11。

  2009年我們技術部門隻有幾個人臨時安排值班,高峰每秒隻有400個請求,到2016年阿裏有23個事業單位、幾韆位技術人員一起加入瞭雙11的備戰。杭州西溪園區1號樓的7樓、6樓和5樓都成為瞭雙11的集中作戰室,實現瞭每秒處理1.7萬條請求的技術奇跡。為雙11做齣艱苦備戰的還有商傢、銀行、物流公司,他們和我們一起迎接流量高峰的挑戰,一起為瞭互聯網更加完善的用戶體驗不斷努力和前進。

  麵對新的挑戰,我們從不敢放下的是對用戶的敬畏和感激之心,藉由本書,藉由雙11的曆史,將阿裏這些年在大流量管控上所做的技術創新共享給關注我們的朋友,並答謝所有雙11的貢獻者、參與者、傳播者、提及者和知曉者。

  2009年:雙11誕生效果驚人

  2009年是淘寶商城(淘寶商城:2008年4月成立,是一個高品質商品的綜閤性購物網站。2012年1月11日上午,淘寶商城正式宣布更名為“天貓”。)成立的第二年,這一年的鞦天,運營部門想搞一場營銷活動,逍遙子(逍遙子:現任阿裏巴巴集團首席執行官,同時是阿裏巴巴集團董事局董事。2008年逍遙子是淘寶網首席運營官兼淘寶商城總經理。)喜歡四個一,而11.11又是網民創造的“光棍節”,所以就選擇瞭這一天。誰也沒有想到,這樣一個帶著點隨意的選擇,竟然在若乾年後成為影響中國乃至全球的大事件,造就瞭電商行業最具影響力的品牌——雙11。

  第一屆雙11的活動口號是全場五摺,拉瞭幾十個商戶參加,未曾想效果驚人,淘寶商城的成交額是平時的10倍。幸運的是,在2009年年初,五彩石項目將淘寶網和淘寶商城的係統底層架構統一瞭。雖然淘寶商城的成交額增加10倍,但由於基數還比較小,這個成交額和淘寶網的日常成交額比起來並不大,因此係統上雖然齣現一些小問題,但是沒有産生特彆大的影響。

  盡管如此,暴增的流量還是讓工程師們措手不及。采訪當年第一屆雙11的工程師四虎(四虎:2007年加入阿裏,參加第一屆雙11的開發,連續參與雙11八年,現在是聚劃算技術負責人。)時,他迴憶說:“第一年雙11,作為交易係統的owner(所有者),接到老闆指示,光棍節要搞個活動,你值一下班。那年我們啥都沒做,就坐在那看服務器的情況。零點一到,發現服務器流量暴增,一下子部分應用的服務器就掛瞭。我們就手忙腳亂地去重啓服務器,恢復係統。應用係統起來後,發現店鋪和商品圖片又齣不來瞭。第一次雙11,可以說完全是意料之外,沒有做任何準備的,不僅把我們的交易和商品係統壓掛瞭,同時還把很多商傢的外部圖片空間也給壓掛瞭。服務器容量、網絡帶寬容量、係統保護都是沒有的。”

  2010年:搜索降級渡難關

  吸取瞭上一年的經驗,2010年雙11之前,技術部門專門成立瞭大促小分隊,隊員包括各個核心係統的開發人員和技術保障部軟硬件維護人員,當時還成立瞭大促指揮團,由振飛(現任阿裏首席風險官。2010年任技術保障部副總裁。)、周明(現任基礎架構事業群資 深 總監。2010年任技術保障部總監。)、範禹(現任天貓事業部技術部資深總監和研究員。)統一負責大促技術方案的相關決策。

  負責保障穩定性的人員在指定地點集中辦公。那一年,高峰不在零點,而是齣現在第二天白天,早上10點左右,CDN的容量很快達到上限,圖片展示越來越慢,眼看就要齣不來瞭。大傢緊張起來,激烈地討論還有什麼辦法。有人提齣搜索的圖片展示占瞭很大的容量,可以將搜索的大圖降級為小圖。然後給搜索的負責人打電話,通知他:“對不起瞭,我們要對搜索的圖片降級瞭,雙11結束就給你們恢復過來。”這一招幫助當年的雙11渡過瞭容量的最大風險。之後,每一年的搜索大圖降級為小圖都成瞭雙11的必備降級方法之一,盡管後麵再也沒有啓用過。同時,每一年雙11之前CDN都會開一個大會,讓所有業務評估自己雙11當天的CDN使用量,提前兩個月就開始做擴容的準備。“所有的苦難都是用來幫助我們成長的”,這句話用在雙11上特彆閤適。

  四虎迴憶第二年的情景:“第二年,我們開始有瞭心理準備,預計流量是平時的3~5倍,但是實際流量遠遠超齣我們的想象,達到瞭平時流量的十幾倍。不過基於前一年的經驗,這一年我們做瞭很多工作,分布式係統的防雪崩、核心係統的自治,這些技術改進讓我們的係統比上一年好瞭很多,雖然零點高峰時還是齣現瞭大量的購買失敗,但是服務器沒有大麵積宕機,流量下降後能夠繼續良好地服務。”

  2011年:匆忙中解決突發事件

  2012年:係統超賣瞭

  2013年:有驚無險

  2014年:最順利的雙11

  2015年:移動端購買率大大提升

  2016年:實現雲化

  (注:以上2011—2016年雙11的具體描述見書中的“引言”,這裏省略)

  從2010年開始,為瞭雙11的順利進行,阿裏每年都會任命一個雙11技術部團長來整體負責雙11技術的穩定性工作。在團長之下,會成立一個大促小分隊,然後在各個事業群選拔最閤適的同學作為各個事業群的隊長。隊長在負責本BU技術工作的同時,還負責和其他BU進行聯動和消息共享溝通。隊長通過周會的形式來互報進度和風險。為瞭雙11當天的穩定,每年都會安排4至6次的功能迴歸演習和全鏈路壓測驗證工作,這些工作會在幾十個事業群中同步進行。通常參加一次全鏈路壓測的技術人員都會在300人以上。

  這麼多年雙11下來,有些人好奇:“做瞭這麼多年瞭,該準備的都準備好瞭,為什麼每次技術部還那麼緊張啊?”聽完瞭這些曆史,也許能有一絲明白,每年的雙11,我們的玩法都在變化,我們的流量不斷挑戰高峰,我們的技術也在效率和創新上實現著自我突破。雙11沒有一年不辛苦,沒有一年不緊張,沒有一年不需要加班熬夜通宵,沒有一年不是戰戰兢兢。有人在解決問題時一邊哭泣一邊寫代碼;有人在雙11結束的第二天就會去找主管“我明年再也不要乾雙11瞭”;有人由於身體或者傢庭的原因申請離開。但慶幸的是,每年都會有更多的人加入進來,帶著新的熱情和夢想,明知路難行,明知山有虎,但總需要有那樣一群人,咬著牙,紅著眼,在再大的壓力下,在再苦的環境下,在已經通宵神誌不清的情況下,把問題一個個解決掉,然後笑著告訴大傢:“今年我們一起又把雙11扛過去瞭。”

  這是我們阿裏技術對所有用戶的態度,我們不完美,我們會犯錯,我們沒有提供給用戶最好的體驗,我們很抱歉,我們會在深夜哭泣,哭泣我們不小心的遺憾,哭泣我們一個疏忽給用戶帶來的嚴重影響。但是我們在努力,我們在前進,我們在錯誤中不斷反思,繼而成長。感謝這些年用戶對我們的接納和信任,請相信我們在努力。也藉這本書答謝所有參加過雙11的朋友們,謝謝你們對我們的信任,我們會帶著這份信任一路前行,讓中國互聯網的聲音響徹全世界。


用户评价

评分

比较不错的分布式书籍,有点点到为止,但是还是值得一读,可以通过这本书了解到一些原理

评分

web开发互联网架构的核心技术,真实案例学习,希望提高自己的架构和互联网技术能力

评分

还行吧,还行吧,还可以吧。评价得京豆,赚京豆太难了啊。。还行吧,还行吧,还可以吧。评价得京豆,赚京豆太难了啊。。

评分

讲了成功和奋斗史,这些背后的故事还是挺吸引人的

评分

送货很快。京。东现在计算机书都不没啥活动,都是普通的折扣,这书籍都是各平台长期有的,折扣力度不大。书呢,内容还没看,网上有评论以及内容大纲,就看适不适合自己。印刷质量就一般了。算了,这类书反正也主要看的内容,又不是收集。。

评分

经常网购总有大量的包裹说感觉写评语花掉了我大量的时间和精力,所以在一段时间里我总是不去评价或者随便写写,但是我又总是觉得好像有点对不住那些辛苦工作的卖家客服,仓管,老板,于是我写下来一小段话,给我觉着能拿到五星好评的卖家的宝贝评价里面以示感谢和尊敬,首先宝贝使性价比很高的我每次都会先试用,再评价的,虽然宝贝不一定是最好的,但在同等的价位里面绝对是表现最棒的。京东的配送绝对是一流的送货速度快,配送员服务态度好每样东西都是送货上门。希望京东能再接再厉,做得更大更强,提供更好更好的东西给大家,为京东的商品和服务点赞

评分

作为了解阿里这几年的技术演进还是很好的。

评分

物流不错,发货很快

评分

看上去挺不错的,书香四溢

相关图书

本站所有內容均為互聯網搜索引擎提供的公開搜索信息,本站不存儲任何數據與內容,任何內容與數據均與本站無關,如有需要請聯繫相關搜索引擎包括但不限於百度google,bing,sogou

© 2025 tushu.tinynews.org All Rights Reserved. 求知書站 版权所有