編輯推薦
《華爾街日報》2012年度10本非虛構類圖書之一
《經濟學人》雜誌2012年度書籍
長踞《紐約時報》暢銷書排行榜達6個月之久
2008年美國總統大選期間,納特·西爾弗隻對一個州做齣瞭錯誤預測,對其餘49個州的競選結果的預測全部命中。在2012年的美國總統大選期間,他更是準確地預測齣瞭全部50個州的競選結果,媒體評論說,2012年美國總統大選一役,大的贏傢除瞭奧巴馬,便是號稱“神奇小子”的西爾弗,他的預測能力似乎不可思議,打敗瞭從時政記者、政黨媒體顧問到政治評論員的一眾人等。
《信號與噪聲》將帶給我們一場睿智的、優雅的、科學與藝術交叉的預測之旅,從中我們可以領略到當大數據遇到人類衝動、貪婪、欲望、偏見的本性時將會發生什麼——一個又一個錯誤的預測。
在大數據時代,為什麼很多預測都失敗瞭,而隻有少數成瞭真?這本書告訴我們:“9·11”恐怖襲擊事件本來是可以避免的,日本9級大地震也是有跡可循的,2008年金融危機不是必然發生的……然而為什麼這些我們眼中的“黑天鵝”事件最終都發生瞭,根本的原因就在於我們錯把大數據中的“噪聲”誤以為是“信號”。
《信號與噪聲》就像一部精密的“測試儀”,它能幫助我們區分大數據中哪些是噪聲、哪些是信號,它是我們當下最需要的工作、生活、管理工具。對於身處大數據時代的每一個企業、每一個政策製定者和每一個“關心下一刻會發生什麼”的人來說,這本書都不可不讀。
在你讀完這本書後,你一定會更瞭解為什麼接下來一周的天氣預報對你來說更有用,而一周以後的天氣預報根本是無稽之談。
從海量的大數據中篩選齣真正的信號,“黑天鵝”事件也可提前預知!
海報:
內容簡介
《信號與噪聲》中涉及如下有趣又值得研究的問題:天氣預報說降水概率為60%,你齣門會帶傘嗎?被雷電擊中的概率到底有多大?地震發生之前,我們真的無法預測嗎?中情局為什麼會忽略“9.11”恐怖襲擊發生的信號?禽流感為何會突然爆發,又突然消失?為什麼大數據時代的預測更容易失敗?
“信號”是我們想要和需要的事實,比如能幫助我們偵破早期鞋子炸彈案的信號。“噪聲”則是另一迴事,通常是不相乾的信息,它阻礙或誤導我們搜索信號。
人類每時每刻都需要對未來進行預測並製定相應的策略,如此國傢、企業乃至個體纔能持續發展,因此我們對於“下一刻會發生什麼”倍加關注。
在信息爆炸的大數據時代,隨著我們的生活節奏變得越來越快,我們所要做齣的預測的速度和數量都在不斷增加。一個不容忽視的事實是,現實世界中的很多預測都失敗瞭,由此付齣瞭巨大的社會代價。“9.11”恐怖襲擊事件、2008年金融危機、卡特裏娜颶風、2011年日本大地震、禽流感肆虐,這些“黑天鵝”事件的發生在很大程度上應歸咎於糟糕的預測,也就是說預測者們被眾多信息中的噪聲乾擾,而忽視瞭其中真正的信號。
作者最為美國具影響力的預測專傢之一,檢視瞭從颶風到地震、從經濟到股市、從NBA到政治選舉在內的眾多領域的預測事例,旨在迴答一個問題:如何纔能從繁雜的海量數據中篩選齣真正的信號,摒棄噪聲的乾擾,從而做齣接近真相的預測。
真正優秀的預測者會用概率的方法思考問題,他們謙虛而且勤懇,他們能清楚地區分什麼是不可預測的、什麼是可預測的,他們注重能帶領他們接近真相的成韆上百個小細節,他們能辨識齣什麼是噪聲、什麼是信號。
從全球經濟的健康到戰勝恐怖主義,都依靠預測的質量。《信號與噪聲》可以給你想要的答案。
作者簡介
納特·西爾弗,統計學傢、作傢和《紐約時報》政治性網站538.com的創始人。2008年美國大選期間他成功預測齣49個州的選舉結果,2012年大選期間更是成功預測齣全部50個州的選舉結果,被稱為“神奇小子”。2009年,《時代》周刊將他評選為全球100位具影響力的人物之一。
內頁插圖
精彩書評
如果說信息稀缺製約著預測,西爾弗的《信號與噪聲》則告訴我們,信息大爆炸時代,過多的信息同樣也乾擾正確的預測。
在金融行業流行的一句與預測相關的名言是:重要的不僅是預測下雨,還要建造諾亞方舟,從這個意義上說,本書提供瞭麵對海量數據預測時建造用於預測的“諾亞方舟”的一些思路和方法,值得推薦。
——巴曙鬆,國務院發展研究中心金融研究所研究員及副所長、博士生導師、中國銀行業協會首席經濟學傢
本書是大數據時代的敲門磚,專業而有趣的統計學傢去除噪聲,獲得有價值的信息。
中國需要藉鑒類似經驗,當理論壓力預測與實際市場反應常常天差地彆,我們得知道為什麼,纔能知道怎麼辦。
——葉檀,財經評論傢
人們喜愛統計學,但統計學並不總能迴饋給人們同樣的愛。西爾弗的這本書帶給我們一場睿智的、優雅的、科學與藝術交叉的預測之旅,從中我們可以領略到當大數據遇到人類本性時將會發生什麼。在棒球比賽、天氣預報、地震預測、經濟預測和競選投票等領域,西爾弗發現,糟糕的預測往往源自偏見、既定的利益和過度自信。在今天這樣一個指標泛濫的世界,這本書給瞭我們一記及時的提醒:隻有正確運用統計學工具的人,纔能做齣好的預測。
——網站
這本書對大眾的精神啓迪意義不亞於像約翰·肯尼斯·加爾布雷斯(曾引發對經濟政策的討論)這樣的公共知識分子和像沃爾特·剋朗凱特(曾改變對越南戰爭的看法)這樣的社會名人,它將會成為未來十年內最重要的書籍之一。
——《紐約時報》書評版
西爾弗輕鬆隨性的語言風格讓哪怕是最艱澀的統計資料都變得簡單易懂。更重要的是,他的論據和案例都來自於費盡苦心的研究。
——《華爾街日報》
西爾弗是統計學界的科特·柯本(美國已故著名搖滾歌手),他寫作的這本新書既是一本實踐指南,也是一部哲學宣言,通過一係列案例研究——從颶風到職業撲剋牌手到恐怖主義,集中論述瞭一個主題:預測。對於那些想對未來做齣更好預測的人和想驗證他人預測正確與否的人來說,這本書都極具價值。
——《波士頓環球報》
西爾弗以令人難以置信的輕鬆語言,寫瞭一本關於如何做預測的入門讀物,每個人都應該讀一讀。
——《華盛頓郵報》
這本書就像一座寶庫,裏麵有數不盡的寶藏:貝葉斯定理與概率論,運氣和性格,撲剋牌手對生活的看法,等等。然而最重要的是,它是幫助我們區分繁雜數據中哪些是噪聲、哪些是信號的“測試儀”,是我們當下最需要的基本工具;它有時還能幫助我們正確評估那些我們不熟悉卻必須瞭解的信息的價值。
——《時尚先生》
統計學或預測是讓很多人望而卻步的話題,而本書就是關於這個話題的一本有趣的普及讀物,棒球比賽、職業撲剋牌手、政治選舉等例子足以勾起讀者的好奇心,甚至會讓他們廢寢忘食地閱讀,而且其中潛藏著幫你做齣正確預測的能量。
——《石闆》雜誌
這本書與暢銷書《黑天鵝》的觀點有異麯同工之妙。西爾弗認為,人類對自己的預測能力往往過度自信,以至於他們排斥用概率的方法思考問題,也不允許自己的預測模型中存在不確定性。
——《經濟學人》
西爾弗剖析瞭我們對股市、風暴、體育等並非一成不變的事物所做的預測。
——《連綫》雜誌
對於身處大數據時代的每一個企業、每一場運動賽事和每一個政策製定者來說,這本書都不可不讀。
——《福布斯》
非常棒的一本書,而且充滿閱讀的樂趣。西爾弗用這本書給我們製造瞭一個愉悅的信號。
——蒂姆·哈福德,《金融時報》專欄作傢
預測很難,特彆是對於未來的預測。在這本重要的著作中,西爾弗解釋瞭為什麼專傢的預測有時正確,有時卻一無是處;也分析瞭為什麼我們必須未雨綢繆。對於每一個關心下一刻可能會發生什麼的人來說,這都是本必讀書。
——理查德·泰勒,《助推》作者
在大數據時代做預測可能跟你想象的完全不同。這本觀點新鮮且原創的書,為我們區分關於未來的預測中哪些是主觀現實、哪些是客觀現實,提供瞭意想不到的啓發性視角。作者還指齣,隻要我們明智地從糟糕的預測中吸取教訓,那我們一定會在科學、技術和政治的預測方麵取得進步。
——洪博培,前美國駐華大使
在你讀完這本書後,你一定會更瞭解為什麼有些預測模型有效,而有些毫無用處。你也會更加注意接下來一周的天氣預報,而對一周以後的天氣預報則毫不在意。西爾弗將一個復雜的、艱澀的話題變成瞭有趣的、輕鬆的和親切的。
——皮特·奧斯紮格,前美國國傢管理及預算辦公室主任
西爾弗並沒有提齣一個如何做齣好預測的綜閤性理論,但他的這本著作的確有利於幫助人們在詭譎多變的商業世界中做齣正確的預測。
——剋裏斯·威爾遜,榖歌公司開發大使
目錄
引 言
第一章 預測失敗的災難性後果
一場錯誤預測引發的悲劇
他們隻是不想讓“音樂”停下來罷瞭
評級機構為什麼會犯下緻命的錯誤?
第一幕:房地産泡沫
第二幕:負債經營
幕間休息:從貪婪到恐懼
第三幕:這次還是犯瞭同樣的錯誤
失敗的預測都是非樣本預測
失敗預測的公式--非樣本,無思考
前事不忘,後事之師
第二章 政治選舉預測:狐狸和刺蝟,誰更聰明?
政治學傢是名副其實還是徒有虛名·
狐狸型專傢:善於變通,更善於做齣準確的預測
刺蝟型專傢更適閤做電視節目嘉賓
政治預測為什麼常常失敗?
狐狸型預測方法
原則一:用概率的方法思考問題
原則二:今天的預測是你以後人生的
第一個預測
原則三:尋求共識
定性信息與定量信息同等重要
做齣客觀的預測並非易事
第三章 棒球比賽預測:球探和數據怪纔,誰更勝一籌?
構建棒球比賽的預測係統
全世界最豐富的統計數據庫
老化麯綫與相似分數
球探與數據怪纔的矛盾衝突
係統與球探的對決:球探贏瞭
球探和數據怪纔的偏見
生理指標與心理指標
信息是決定預測成敗的關鍵
並不是信息越多,預測就越成功
《點球成金》的真正意義
第四章 天氣預測:蝴蝶扇動翅膀,有可能引起龍捲風
我們真能準確地預測天氣嗎?
氣象預報簡史
用矩陣來預測天氣
混沌理論與蝴蝶效應
視覺化預測與抽象化預測
被雷電擊中的概率越來越小瞭
什麼樣的預測纔算是好預測?
商業競爭如何使預測變得更糟糕?
天氣預報說降水概率為60%,你齣門會帶傘嗎?
盡可能地做齣準確預測
第五章 地震預測:一個睏惑瞭人類1 000 年的難題
地震可以預測嗎?
“聖杯”根本就不存在
我們對於地震的瞭解
究竟是信號還是噪聲?
那些以失敗收場的地震預測
過度擬閤模型:將噪聲誤認為信號
2011 年日本大地震引發的思考
地震震級的上限是多少?
被審判的預測科學
第六章 經濟預測: 經濟學傢為什麼沒有預測到2008 年經濟危機?
不可忽視預測中的不確定性
經濟學傢都是理性的嗎?
相關的兩個經濟變量未必互為因果
變化莫測的經濟
經濟數據中充滿噪聲
經濟是一個動態係統,不是一個方程式
經濟預測中不可避免地會存在偏見
剋服預測偏見的兩種選擇
第七章 傳染性疾病預測:禽流感為何會突然爆發,又突然消失?
人們又一次高估瞭H1N1 的緻命率
外推法的危害--艾滋病感染人數被低估瞭一半
為什麼2009 年的流感預測會失敗?
自我實現預測與自我否定預測
預測模型越簡單越好,還是越復雜越好?
所有的預測都失敗瞭
預測是為瞭讓損失最小化
第八章 貝葉斯定理:隻有正確的預測纔能讓我們更接近真相
成功的賭客是如何思考問題的?
貝葉斯留下的寶貴遺産
概率、預測與科學進步
簡單的運算推導齣重大的預測
為什麼大數據時代的預測更容易失敗?
當統計數據偏離瞭貝葉斯定理
成功踐行貝葉斯定理的體育賭客
通往真理的貝葉斯之路
第九章 國際象棋大戰:計算機與人類的智能博弈
國際象棋的人機大戰
國際象棋比賽預測和啓發法
開局階段:獨立思考能力更重要
中局階段:寬度與深度的兩難選擇
殘局階段:計算機能力方麵的較量
計算機戰勝瞭人類
國際象棋大師為何敗給瞭“深藍”計算機?
計算機擅長做什麼?
用試錯法提高計算機的預測能力
剋服人類的技術盲點
第十章 撲剋牌遊戲:如何從1 326 種組閤中猜齣對手的底牌?
是心理遊戲,也是數學遊戲
齣色的撲剋牌玩傢如何讀齣對手的牌?
是棄牌還是跟注,如何選擇?
虛張聲勢,讓對手猜不齣你的底牌
學習麯綫與二八原則亦適用於預測領域
撲剋牌經濟的繁榮
撲剋牌經濟泡沫的破滅
既靠運氣也拼技能
我們對於撲剋牌遊戲的妄想
以過程而不是結果為導嚮
第十一章 股票市場:非理性交易者的存在讓價格泡沫不可避免
貝葉斯定理世界中的價碼牌
預測市場中的“無形的手”
群體預測往往優於個體預測
有效市場假說理論的緣起
過去的錶現不代錶未來的結果
技術分析法並不能預測股市
有效市場假說的3 種形式
追漲殺跌的股市投資策略真能獲利嗎?
當有效市場假說遇到非理性繁榮
羊群效應催生股市泡沫
過度自信的投資者逃不開“贏傢的詛咒”
股市泡沫需要很長時間纔能被擠齣
有時,價格的確是錯誤的!
金融市場中的噪聲
直覺判斷讓投資者深陷“高買低賣”的誤區
有沒有可能預測到市場泡沫的齣現?
第十二章 溫室效應:未來10 年,全球氣溫會上升還是下降?
溫室效應真會導緻全球氣溫變暖嗎?
溫室效應假說的3 種懷疑論
對“全球氣溫會持續升高”預測的批判
達成共識的預測結果
不能把所有雞蛋都放在一個籃子裏
氣候科學不是“火箭科學”
模型越復雜,預測越糟糕
氣候預測中的3 類不確定性
評判氣候預測準確性的時刻到瞭
“全球變冷”事件的教訓
正確的預測絕對離不開科學的方法
氣溫變化趨勢的真相
政治與科學的針鋒相對
第十三章 恐怖主義: 比“9·11”更嚴重的恐怖襲擊事件會發生嗎?
信號無處不在
你不知道的不代錶不會發生
“9·11”恐怖襲擊事件是“已知的未知”?
用數學的方法研究恐怖主義
用統計學的方法測量恐怖主義
9 級恐怖襲擊很可能會發生
為什麼恐怖分子不去炸購物中心?
如何辨識恐怖襲擊的信號?
結束語
緻 謝
精彩書摘
經濟預測中不可避免地會存在偏見
如果你想進行經濟預測,最好的選擇就是查看平均預測或群體預測,而不是求助於某個經濟學傢。我對“調查”的研究顯示,群體預測總是比個體預測更準確,在預測GDP增長、失業率和通貨膨脹這三個方麵,群體預測比個體預測的準確率分彆高齣20%、10%和30%。通過研究許多領域的預測結果,人們發現幾乎所有的群體預測都優於個體預測。
然而,雖說群體預測優於個體預測這一觀念已成為重要的經驗性規律,可是當預測與事實有很大的齣入時,這一觀念有時就會成為蹩腳的藉口。群體預測是由個體預測組成的,如果個體預測的質量提高瞭,群體預測的質量也會提高。另外,在現實生活中,經濟群體預測的質量也很差勁兒,所以還有很大的提升空間。
大多數經濟學傢作預測時,會在一定程度上依賴自己的判斷,而不是依據統計模型輸齣的信息進行預測。考慮到數據是那麼雜亂,這種做法或許是有益的。波士頓聯儲前副總裁斯蒂芬·K· 麥剋內斯曾經進行過一項研究,他發現根據統計學預測方法對人為的判斷進行調整會使預測的準確率提高約15%。20 世紀七八十年代計算機開始廣泛使用時,人們普遍認為統計模型能夠“解決”經濟預測問題。但是,改進的技術無法掩蓋對經濟領域理論認識的缺乏,隻會讓經濟學傢更加快速、更加煞費苦心地將噪聲誤認為是信號。看似前景不錯的預測模型在某些方麵一敗塗地,最後慘遭淘汰。在其他領域,比如那一時期的地震預測,也會遭遇這樣的狀況。
援引某個人為判斷也會帶來潛在的偏見。人們在進行預測時,會傾嚮於使預測滿足自己的經濟動機或政治信仰。人們或許太過自負,即使事實和環境要求他做齣改變,他也不願對自己的預測進行修正。哈祖斯告訴我:“我認為人們絕對有這樣的傾嚮,急切地希望事情能按照自己希望的方式發展下去。”
是否有經濟學傢更擅長把握這種權衡的度?預測齣上一次經濟衰退的經濟學傢是不是也可以預測齣下一次經濟衰退?這個問題有一個非常有趣的答案。
用於評判預測技能的統計測試,在應用於“調查”時給齣瞭否定的結果。也就是說,從這份調查中,人們似乎找不到證據證明某些經濟學傢總是比其他同行齣色。然而,對另一個小組——“藍籌經濟調查報告”——的研究卻總能給齣肯定的結果。經濟預測中顯然少不瞭運氣的成分,暴躁或是頑固的經濟學傢偶爾也會做齣正確預測。但是對“藍籌經濟調查報告”的多項研究發現,長期來看,某些經濟學傢似乎確實要比其他同行略勝一籌。
這兩份調查有什麼不同呢?“專業預測人員情況調查”是匿名操作的:每位經濟學傢隨機分配一個身份標識號碼,他們在不同的調查中會一直使用這個號碼,但是不會暴露自己的身份和職業。而在 “藍籌預測調查報告”中,每個人的預測都標有其姓名和曾經獲得的榮譽。
當預測結果標有自己的名字時,你的動機就會發生改變。比如,如果你在一傢名不見經傳的小公司工作,你的那些大膽預測就會備受重視,不管這個預測是準確的還是離譜的,你都會受人關注,這是閤情閤理的。而像高盛這樣的大公司,為瞭能達成一緻意見,預測反而會比較保守。
事實上,在“藍籌經濟調查報告”中,已經發現瞭這個特點:名氣越小,作預測時就越不怕冒險。一項研究把這一現象稱為“閤理偏見”。即使知道這個預測十分冒險,你還是會為“大比分”放手一搏,這樣做是可以理解的。反過來,如果你已經聲名鵲起,即便自己手頭的數據要求你做齣大膽的預測,你可能也不願意做齣過於大膽的預測。
這兩種對聲譽的關注都有可能使你遠離做齣最誠實、最準確的預測這一目標,甚至還會使群體預測更加糟糕。整體來看,在對GDP增長率和失業率的預測上,“專業預測人員情況調查”的匿名參與者略優於參與“藍籌經濟調查”的那些名譽至上的受訪者。
2011 年日本大地震引發的思考
將噪聲誤認為信號的傾嚮,有時會給現實世界帶來極可怕的後果。在日本,盡管地震活動極其頻繁,但2011 年那次災難性的地震還是讓這個國傢措手不及。福島核反應堆是按照可抵禦8.6 級地震的標準設計的,無法承受震級高達9.1 級的地震。考古資料錶明,2011 年由地震引發的約40 米高的海浪在曆史上曾經引發過多次海嘯,但這次人們明顯忘記瞭或者根本無視這些慘痛的案例。
9.1 級地震在全世界都很少見,沒人能確切地預測到這樣的地震會發生在哪個10 年裏,更不用說具體的日期瞭。而在日本,一些科學傢和中央計劃員卻排除瞭近期發生地震的可能性。這一點就反映瞭日本的地震預測模型是過度擬閤模型。
在圖5–6A中,我畫齣瞭2011 年日本福島地震震中附近發生地震的曆史頻率。這些數據中的地震級彆逐漸加大,卻沒有達到3 月11 日的9.1 級。通過看圖你會發現,數據幾乎遵循著古登堡– 裏剋特法則的那種直綫預測模型,然而,在7.5 級處齣現瞭一個拐點,而且,該地區自從1964 年發生瞭一場震級達8.0 級的地震後,再沒有發生過震級更大的地震,於是,這條綫似乎開始嚮下彎麯瞭。
究竟該如何連接這些數據點呢?如果嚴格依據古登堡– 裏剋特法則,就要忽略圖像中的拐點,沿直綫將數據點連接起來,如圖5–6B所示。若是按地震學傢口中的“特性擬閤”法(見圖5–6C),即描述這一地區地震發生的曆史頻率,那麼,就會把那個拐點當成是真實情況,十分肯定這一地區發生7.6 級以上地震的可能性不大。
看似無害的決定,卻會導緻大相徑庭的結果,從日本福島的例子來看,不同的選擇會關係到是否認為這一地區會發生9.1 級大地震。特性擬閤模型暗示9.1 級地震需要約13 000 年纔可能發生一次,這樣看來,這一地區幾乎就不可能發生這樣大級彆的地震。另外,古登堡– 裏剋特法則卻預測,9.1 級地震平均每300 年纔可以預見一次,確實不常見,但也不是絕無可能,風險還是存在的,而像日本這樣富有的國傢,是能夠為此作好準備的。
最近,特性擬閤模型和日本東北部地區的地震記錄擬閤得更加緊密瞭。但是正如我們所知,完全吻閤未必就是一件好事,很有可能會變成過度擬閤模型,而且,在匹配真實關係時,這種模型會錶現得更糟。
在這種情況下,過度擬閤的模型會嚴重低估這一地區發生災難性大地震的可能性。特性擬閤的問題就在於它依靠的是十分微弱的信號。之前提到,日本福島地震發生前的45 年內,日本東北部地區從未發生過8 級及以上的地震。然而,這些都還隻是以稀有事件為開端的事例:古登堡– 裏剋特法則預測日本東北部地區約30 年纔會發生一次稀有事件,而30 年一遇的事件拖到45 年的時候發生也沒什麼稀奇,就算沒有發生,也不奇怪。就好比一個擊球率達0.300 的擊球手,某天狀態不好,輸贏比達到瞭5 ∶ 0,這也不足為奇。另外,日本東北部地區發生過好幾次中等級彆達到7.0 級的地震,當世界其他地區齣現類似情況時,常預示著會有更大級彆的地震發生,那又有什麼理由認為日本東北部地區會是個特例呢?
實際上,日本以及其他地區的地震學傢為此做齣瞭閤理解釋。比如,他們錶明該區域的海底構造特殊、年代久遠、溫度相對較低且密度較大,能夠阻止這樣的大地震形成。另一些地震學傢則觀察到2004 年以前,這種類型的海底從來沒有發生過9 級地震。
這類結論有點兒像認定瞭某個來自賓夕法尼亞的傢夥不可能會中彩票的頭等奬,因為過去的3 周無人獲此大奬。9 級地震就像彩票頭奬,中奬人數少,時間間隔長。實際上,2004 年之前,全世界有記載的9 級地震總共纔發生3 次。9 級地震究竟在何種情形下纔會發生,關於這個問題,沒有足夠的數據來支撐高度具體的結論。日本不是這一模型失敗的首例,蘇門答臘島也遇到過相似的問題。有一段時間,蘇門答臘島發生瞭一係列震級達到7 級的地震,隨後卻並沒有發生更大級彆的地震。但在2004 年12 月,一場震級達9.2 級的特大地震襲擊瞭蘇門答臘島。
古登堡– 裏剋特法則並不能預測地震的具體時間,無論是蘇門答臘島地震還日本福島地震都是這樣,但是這一法則考慮到瞭發生地震的概率。目前,許多更精細的地震預測活動都失敗瞭,古登堡– 裏剋特法則的錶現都還不錯。
……
前言/序言
本書的內容涵蓋瞭信息技術和科學進步,也包括瞭自由市場、商業競爭以及觀念革新。本書羅列瞭許多事物,這些事物使得人類比計算機更聰明,書中同樣列舉瞭人類所犯的錯誤。本書還描述瞭我們如何一步一步地學習認識客觀世界,也解釋瞭為什麼有時會齣現曆史倒退的情況。
這是一本有關預測學方麵的書,這一學科是涉及上述所有內容的交叉學科,旨在研究為什麼有些預測很準確,而另外一些預測卻失敗瞭。我真誠地希望這本書能使你在規劃未來時更有遠見,而避免目光短淺。
信息越多,問題越多
人類最初的信息技術革命並非始於微型芯片的發明,而是以印刷機的誕生為開端的。1440 年,約翰內斯· 古騰堡發明瞭印刷機,這項發明使普通民眾能方便地瞭解信息,由此産生的思想洪流帶來瞭前所未有的結果和影響。印刷機的發明點燃瞭1775 年的工業革命之火,也促成瞭人類文明的迅猛發展——由從前那種科學和經濟幾乎止步不前的狀態迅速跨越到呈指數型增長的狀態,還帶來瞭我們今天所熟悉的變化。除此之外,這一發明促成瞭一些曆史事件,這些事件開啓瞭歐洲啓濛運動,也加速瞭美利堅閤眾國的建立。
但是,印刷機發明之初並沒有引發上述各種巨變,倒是可能催生瞭另外的事件,如持續瞭幾百年的“聖戰”。當人類開始相信他們可以預知和選擇自己的命運時,人類曆史上最血腥的時代也就開始瞭。
早在古騰堡發明印刷機之前,書籍就已經存在瞭,但當時書的數量和讀書的人都很少,書籍隻是貴族階層的奢侈品。因為抄寫員每次隻能抄寫一份副本,復製一份原稿的費用大約是每5 頁1 弗洛林(一種金幣,1 弗洛林約閤200 美元),因此像你現在讀的這本書,在當時可能要花費20 000 美元纔能得到。而且,經過無數次的抄寫,書中難免有大量的抄寫錯誤,這些錯誤代代相傳,成倍增加,甚至還會演變成與原意相反的錯誤。
這就使得知識的積纍變得極其睏難。要想阻止以文字記錄的知識的不斷減少,就需要付齣巨大的努力,因為書籍腐爛的速度遠遠大於其生成的速度。隻有幾個版本的《聖經》和少量的哲學論述——比如柏拉圖和亞裏士多德的文章——被保留瞭下來,其他那些數不清的智慧,由於缺乏記載動機,都遺失在那個年代瞭。
過去,也許人們覺得對於知識的追求即使不全是無用功,似乎也沒什麼實際價值。如今世事瞬息萬變,我們總會有一種“世事無常”的感覺,而對於我們的前輩來說,這種“無常的世事”則更受關注。《聖經· 傳道書》中有一句唯美的詩句:“日光之下無新事”,可事實卻並非如此,之所以說“無新事”,並不是因為每件事都已經被發掘齣來瞭,而是因為所有事情都將被遺忘。
印刷機永久而深刻地改變瞭這一狀況。幾乎是一夜之間,一本書的成本就驟降近300 倍,書的售價從相當於今天20 000 美元的價格劇降至70 美元。印刷機迅速在歐洲普及,到1470 年,印刷機已從德國傳播到羅馬、西班牙塞維利亞、法國巴黎和瑞士巴塞爾,隨後的10 年裏,幾乎所有的歐洲主要城市裏都有瞭印刷機的影子。印刷機問世的第一個世紀裏,書籍的生産規模呈指數型增長,數量增長瞭近30倍。人類知識鏇即進入快速積纍期。
然而,正如萬維網建立初期那樣,印刷機使用之初的信息質量也是參差不齊的。
當時,人們隻顧追逐眼前利益,印刷機幾乎都用來印製那些質量較高的地圖瞭,異端的宗教文章和一些僞科學文章也很快就占據瞭暢銷書單的主要位置。印刷錯誤大量齣現,那本被叫作《邪惡聖經》的書便是如此,這本書犯瞭史上最嚴重的印刷錯誤——《十誡》中的“不可奸淫”誤印成“應當奸淫”。與此同時,人們一下子接觸到大量的新思想,這難免會産生諸多混淆。信息的增長速度遠遠超過瞭人們處理信息和分辨信息的速度。共享信息的不斷增長反而加速瞭民族和宗教的孤立進程,其速度之快不禁讓人瞠目結舌。麵對“過量的信息”時,我們會本能地進行篩選,選齣喜歡的,忽略其他的,與同道中人為友,與意見相左之人為敵。
印刷機的早期使用者中,最狂熱的要數那些傳播福音的人瞭。馬丁·路德的《九十五條論綱》還不是那麼激進,而對其中類似情緒的爭論已然不絕於耳瞭。正如《現代歐洲早期印刷革命》一書的作者伊麗莎白·愛森斯坦所寫的那樣,馬丁·路德這些論綱的革命之處就在於,它們“沒有一直釘在教堂的門上” 。而是被古騰堡的印刷機
復印瞭30 多萬次,即使按照今天的標準來看,這個印刷量也可算作巨大的成功瞭。
路德的新教改革所導緻的教會分裂,很快使歐洲陷入瞭戰爭。1524~1648 年間,歐洲爆發瞭德國農民戰爭、施馬爾卡爾登戰爭、八十年戰爭、三十年戰爭、法國宗教戰爭、愛爾蘭南聯邦戰爭、蘇格蘭內戰和英國內戰,其中許多戰爭幾乎是同時爆發的。當然,1480 年齣現的西班牙宗教法庭和1508~1516 年齣現的康布雷同盟也值得一提,盡管兩者與新教思想的傳播關係不大。單單一個三十年戰爭,德國人口就減少瞭1/3,即使是與20 世紀早期的第一次世界大戰相比,17 世紀也稱得上是史上最血腥的時代。
但就是在這樣一個充滿戰亂的時代,印刷機卻悄然推動著科學與文學的進步,所以人們纔得以分享伽利略的科學思想,品味莎士比亞的舞颱劇。莎士比亞舞颱劇的主題通常關乎人的命運,這一點與戲劇如齣一轍。劇中人物的理想和命運之間的差距增添瞭這些舞颱劇的悲劇色彩。莎士比亞時期,掌控自身命運看似已成為人們思想意識的一部分,但要做到這一點卻很難,所以那些挑戰命運的人總是遍體鱗傷,直至死去。
這一主題在莎士比亞的著名悲劇《硃利葉斯· 愷撒》中得到瞭最生動的詮釋。在這部戲的前半部分,愷撒接收到各種各樣明顯的警示,他稱之為預言(比如“留心3 月15 日”),這些預言預示瞭他的加冕禮可能會演變為一場屠殺。愷撒當然不會在意那些預言,他始終自信地認為,這些預言隻是預示著彆人的死亡,否則,他當時就會留意。結果,愷撒遇刺瞭。
莎士比亞藉西塞羅的話警示我們,“( 可是) 人們照著自己的意思解釋一切事物的原因,實際上卻和這些事物本身的目的完全相反” 。這句話對於所有正在對自己新發現的大量信息進行選擇的人,都不失為一條好的建議。人們很難從乾擾他們的噪聲中分辨齣有用的信號。數據展示給我們的通常都是我們想要的結果,而且我們通常也能確保這些數據令我們皆大歡喜。
然而,如果說《硃利葉斯· 愷撒》這部戲劇中含有的宿命論、占蔔術和迷信思想,是古代預言思想的開端,它同時也介紹瞭一種較為現代且較為激進的思想:我們可以對這些跡象進行解釋,從中獲益。在戲中,卡修斯說,“有時,人們可以掌控自己的命運”,他希望能勸服勃魯托斯參與謀害愷撒的陰謀中。
於是,“人們可以掌控自己的命運”這一思想便廣泛傳播開來。“預言”和“預測”這兩個詞在今天大多數的情況下可以互換使用,然而在莎士比亞時代,它們卻有著不同的含義。“預言”是指占蔔者告訴你的話,而“預測”則更像是卡修斯的想法。
“預測”一詞源於日耳曼語,而“預言”一詞源自拉丁語。“預測”反映的是新教世俗思想,而不是神聖羅馬帝國的理想世界。“預測”是指在不確定的條件下進行計劃,這一行為需要謹慎、智慧和勤奮,更像我們今天所說的“預見”一詞。
預言思想的神學含義是十分復雜的,但對於凡塵俗世中那些追逐利益的人來說,這些含義就不那麼復雜瞭。預言思想的這些特質與那些新教徒的職業道德是密不可分的,馬剋斯· 韋伯認為,資本主義的誕生和工業革命的開始與預言思想不無關聯。
“預測”與“進步”兩個概念緊密相關。所有相關書籍中的所有信息都應有助於我們規劃生活,都應成功地預見整個世界的發展曆程。
幾個世紀以來,引領“聖戰”的新教徒們都在學習如何用自身積纍的知識改變社會。工業革命主要始於新教國傢,而且多半發生在那些言論自由的國傢,因為在這些國傢,宗教思想和科學思想可以自由傳播,人們也不必對審查製度心存顧慮。
工業革命的重大意義難以盡數。縱觀人類社會的曆史進程,經濟增長的速度曾經為年均0.1%,這個增速足以匹配當時人口數量平緩增長的狀況,但人均生活水平卻沒有得到任何顯著提高。然後,經濟形勢突然齣現瞭前所未有的進展,經濟增速急劇超越瞭人口數量增長的速度,盡管偶爾也會齣現全球金融危機,但這種高速增長的態勢時至今日仍未改變。
曆史證明,印刷機引發的信息大爆炸為我們創造瞭一個好的世界,因為它僅用瞭330 年的時間就為我們帶來瞭不可盡數的好處,而與此同時有幾百萬人在歐洲戰場上喪命。
生産力悖論
一旦信息增長的速度過快,而我們處理信息的能力尚且不足,情況就很危險。過去40 年的人類曆史錶明,把信息轉變為有用的知識可能還需要很長時間,一不小心,我們就有可能倒退迴去。
“信息時代”並不是特彆新的術語,自20 世紀70 年代後期開始,這個術語便得到越來越廣泛的使用。而與之相關的術語“計算機時代”使用得還要早一些,1970 年就有人用瞭。也就是在那個時候,計算機雖然沒有在傢庭中普及,但在許多實驗室和學術機構中卻越來越普及瞭。這一次,沒有經過300 年的時間,信息技術的增長就已經開始為人類社會創造實實在在的利益瞭,但是人們也等瞭15~20 年纔享受到這些利益。
正如美國經濟學傢、諾貝爾經濟學奬得主保羅· 剋魯格曼曾經對我講的那樣,20 世紀70 年代是典型的“大量理論堆積如山,驗證數據少得可憐”的時期。當時,人們已經開始用計算機製作地球模型,但是一段時間以後,人們發現這些模型太過粗劣,而且與實際不符,計算機可達到的精確度根本無法替代預測的準確度。這一時期,人們作過很多大膽的預測,涉及範圍從經濟學到流行病等各個領域,但是這些預測通常都不準確。比如,1971 年,人們聲稱可以預測齣未來10 年內的地震次數,而實際上,這在40 年後的今天仍實現不瞭。
20 世紀七八十年代的計算機熱非但未能推動經濟和科學的發展,反而造成瞭兩個領域生産力水平的短暫下降。經濟學傢將這種現象稱為“生産力悖論”。羅伯特· 索洛曾經在1987 年寫道:“計算機無處不在,可生産統計中卻不見其身影。”1969~1982 年,美國經曆瞭4 次經濟大衰退,直到20 世紀80 年代後期,美國經濟纔開始好轉,而世界其他國傢的經濟狀況則鮮有起色。
科學發展比經濟發展更難判定,但科技進步有一大標誌,即專利的數量,尤其是與研發投資相關的專利數量。如果一項發明的成本降低瞭,這就錶明我們善於利用信息,並將其轉變為知識。而如果發明的成本增加瞭,那就說明我們正在噪聲中尋找信號,這無疑是在錯誤的方嚮上浪費時間。
20 世紀60 年代,美國在每個發明者的每項專利上的耗資都接近150 萬美元(通貨膨脹因素考慮在內)。這一數字在信息時代初期有增無減,1986 年更是成倍增長,最高達到300 萬美元。
因為越來越注重新技術帶給我們的實惠,20 世紀90 年代我們又一次提升瞭科學研究的生産力。各項研究不再硬鑽“牛角尖”,計算機開始被用於改善人們的日常生活,促進經濟發展。通常情況下,許多預言從長遠角度看算作進步,而從短期角度看則成瞭倒退;而許多從長遠來看似乎可以預知的事情,同時也會妨礙我們進行完美的計劃。
“大數據”的承諾與陷阱
時下最流行的術語要數“大數據”瞭。根據國際商業機器公司(IBM)估計的數據來看,現在我們每天生成的數據高達250 兆億個字節,超過過去兩年裏生成的數據總量的90%。
信息的指數型增長有時被人們視為萬靈藥,就好比20 世紀70 年代齣現的計算機一樣。《連綫》雜誌的前主編剋裏斯·安德森曾經在2008 年的一篇文章中說:“數量龐大的數據會使人們不再需要理論,甚至不再需要科學的方法。”
本書著重介紹瞭前沿科學和高端技術,我認為其內容是積極樂觀的,卻被嚴重麯解瞭。雖然那些數字不能為自己辯護,但我們卻可以作為數字的發言人,賦予它們意義。這就好比對愷撒密碼解碼一樣,我們可能會以對自己有利的方式對這些數據進行分析和解釋,而這些方式很可能與這些數據(所代錶)的客觀現實不相吻閤。數據驅動預測機製可能會成功,也可能會失敗。一旦我們否認數據處理過程中存在著主觀因素,失敗的概率就會增加。要提高數據分析的質量,首先要對我們自身提齣更高的要求。如果對我的情況不甚瞭解,你可能就會對前麵的提法頗感意外。我在數據和統計學領域還算小有建樹,曾經據此做齣不少成功的預測。2003 年,由於厭倦瞭谘詢工作,我設計瞭一個名為“PECOTA”的係統,主要用來預測美國職業棒球聯盟球員的各項數據。這個係統有很多創新點——其預測是概率性的,比方說其中為每位球員都列齣瞭一係列可能齣現的結果——當我們將這些預測結果與比賽係統給齣的結果進行比較時,發現這套係統的性能更加優越。2008 年,我建立瞭“FiveThirtyEight”(538 網站,因538 張選舉人總票數得名)網站,試圖對即將舉行的美國總統大選進行預測。該網站對兩位美國總統候選人在美國50 個州中的競選結果進行瞭預測,結果命中49 次競選,隻有1 次失手。另外,我的網站還預測齣美國參議院選舉的35 個席位歸屬。
美國總統大選過後,很多齣版商找到我,希望我能為《點球成金》和《魔鬼經濟學》這類關於小人物徵服大世界的書籍估個價。本書涵蓋很多行業和領域,從金融領域,到國傢安全,對這些行業和領域中的數據驅動預測機製進行瞭調查。
在4 年時間裏,我曾與十幾個領域中的100 多位專傢交流過,讀過數百篇期刊文章和論文,為瞭實地調查,我跑遍瞭從拉斯韋加斯到哥本哈根的許多地方,卻發現“大數據”時代的預測活動發展得並不順利。我的成功也隻是因為我在某種程度上比較幸運,一是盡管齣現瞭本書中提到的一些錯誤,但還是取得瞭成功;二是選對瞭調查案例。
本書提到瞭幾個值得研究的例子,集人類判斷與計算機功能為一體的天氣預報就是其中之一。雖然氣象學傢的名聲不好,可是他們也取得過顯著的進步,比如他們預測颶風著陸位置的準確度比25 年前提高瞭3 倍。與此同時,我還拜訪過一些在賭城拉斯韋加斯轟動一時的撲剋牌玩傢和(體育賽事)賭徒。
但是,這些預測成功的案例必然是建立在一係列失敗案例的基礎之上的。
如果讓我們用一個特點來定義美國人——一個令其與眾不同的特質——那就是美國人對卡修斯精神的信仰:我們的命運由我們自己主宰。一些宗教叛逆者迎著工業革命的曙光建立瞭美國,他們認為自由流動的思想不僅有助於傳播其宗教信仰,也有助於傳播科學和商業貿易,“作為一個民族,我們的智慧、我們的勤勞、我們的傲慢和急躁、我們所有的強項和弱項,都源自我們那不可動搖的信念,那就是我們要為自己做主”。
新韆年給美國人帶來的是噩夢般的開始。我們沒有預測到“9·11”恐怖襲擊事件,而這一慘劇的齣現並非因為我們的信息匱乏。正如60 年前的“珍珠港事件”一樣,其實所有的信號都在那裏,隻是我們沒能將它們聯係起來。因為對恐怖分子可能會有的舉動不夠瞭解,所以我們對那些數據視而不見,不知道大難將至。
近期,對全球金融危機的預測也總是失敗。我們天真地相信各種(預測)模式,卻沒有認識到這些模式在我們進行假設選擇時根本不堪一擊,因此總會帶來慘痛的後果。在日常生活中,我發現盡管人們也在努力嘗試,卻仍然無法提早預測齣經濟衰退。幸好在控製通脹方麵,我們已經取得長足進步,否則那些經濟決策者就隻能“盲目飛行”瞭。
與20 世紀70 年代一樣,近來人們十分熱衷於對地震進行預測,其中大部分高度依賴數學方法和數據處理技術。但是,這些預測隻是假想一些從未發生過的地震,對真正發生的那些地震卻沒有預測到。福島核反應堆的設計可以抵抗8.6 級地震,因為一些地震學傢稱不可能發生更高級彆的地震。但是,2011 年3 月日本卻發生瞭9.1 級的特大地震。
錯誤地預測整個學科的發展常會危及整個社會。以生物醫藥學的研究為例。2005年,一位土生土長的雅典人,醫學研究者約翰·P·埃尼迪斯,發錶瞭一篇頗具爭議性的論文,題為“為什麼大多數發錶的研究成果都是騙人的”。該文對那些行業期刊中刊載的積極的研究成果進行瞭研究(這些成果認為那些在實驗室實驗中得到驗證的醫學假設堪稱成功預測),認為大多數成果在實際生活中很可能是毫無用處的。德國拜耳製藥公司最近證實瞭埃尼迪斯的這個推斷,他們通過實驗親自對那些醫學期刊中提到的積極研究成果進行驗證,但發現其中近2/3 的醫學假設根本不能成立。
這些大數據終將推動社會進步,至於這種進步的速度有多快,或者進步的同時是否還會倒退,這些都取決於我們自己。
為何未來使我們震驚?
人類並沒有多少天生的防禦能力,人類的速度沒有多麼快,身體也沒有多麼強壯;人類沒有利爪和尖牙,也沒有護身的硬殼;人類不能噴齣毒液,不能僞裝自己,也不能飛翔。我們之所以能生存下來,是因為我們運用瞭智慧。我們的思維很敏捷,我們能夠敏銳地感知事物的模式,對機遇與威脅迅速地做齣反應。
“人類比其他動物更需要發現模式”,麻省理工學院的神經係統學傢托馬索· 波吉奧對我說,他的研究領域是人腦對信息的處理模式。“在復雜情境中識彆物體的能力是一種概括能力。一個新生兒就能識彆人臉的基本模式,這種能力是進化而來的,是人類生來就有的,並非後天習得的。”
但波吉奧認為,問題在於這些進化來的本能有時會讓我們去尋找原本不存在的模式,“人們一直都在努力從隨機噪聲(即無規律的狀況)中發現模式”。
人腦能力非凡,其信息存儲量或高達3 韆兆字節。然而,據IBM 公司稱,人腦的存儲量不過是全球每天所産生信息量的百萬分之一而已。因此,我們對自己記憶的信息一定要精心挑選纔行。
在1970 年齣版的《未來的衝擊》一書中,未來學大師阿爾文· 托夫勒對他所說的“信息超負荷”的一些後果進行瞭預測。他認為,盡管世界本身正走嚮分化,變得更加復雜,但人類仍會以堅持自身看法的方式使這個世界變得簡單,這便是我們的防禦機製。
我們的生物本能有時會對這個信息豐富的世界難以適從。所以,我們需要積極努力,堅持自己所持有的看法,這樣纔有可能將重返信息負荷狀態的可能性降到最低,甚至消除這種可能性。
印刷機誕生後,信息超負荷催生瞭更深層的宗教主義。現在,那些不同的宗教思想可以通過更多的信息、信念和“證據”得到證明,而且更難以容忍反對意見。同樣的情況似乎到今天都一直存在。在托夫勒剛剛開始寫《未來的衝擊》這本書時,美國的黨派政見分歧開始加劇,這種分歧也許會隨著互聯網的齣現愈演愈烈。不同的黨派政見顛覆瞭“信息越多,就越靠近真相”這一信條。《自然》雜誌上最近刊登的一項研究發現,幾大政黨對全球變暖的問題瞭解得越多,他們之間達成共識的可能性就越小。
同時,如果信息的數量以每天250 兆億字節的速度增長,其中有用的信息肯定接近於零。大部分信息都隻是噪聲而已,而且噪聲的增長速度要比信號快得多。有太多假設需要驗證,有太多數據需要發掘,但客觀事實的數量卻是個相對恒量。印刷機改變瞭我們犯錯誤的方式,從前經常齣現的抄寫錯誤越來越少。然而一旦齣現錯誤,這個錯誤就會被多次復製,《邪惡聖經》裏齣現的錯誤就是這種情況。
像萬維網這類復雜的係統有這樣一個特點,它們不像那些相對簡單的係統那麼容易齣錯,但一旦齣錯,必定是要命的大錯。在信息宣傳方麵,資本主義和互聯網都非常高效,這就使得好壞兩種消息的廣泛傳播成為可能,而且壞消息也許會造成更大的影響。金融危機爆發之前,這一體係正處於高度負債經營的狀態,那些信譽評級機構的預測模式一旦做齣錯誤的假設,哪怕隻是一個錯誤的假設,都極有可能摧毀全球的金融係統。
製定規章製度是解決這些問題的途徑之一,但是我懷疑這種製度會成為我們逃避自身問題的藉口。我們要停止對事物進行預測的做法,並且承認我們的預言有問題。我們喜歡對事物做齣預測,而我們的預言卻總是齣錯。
預測與貝葉斯定理
如果說預測是本書的中心問題,那麼它同時也是這一問題的解決方案。
預測在我們的生活中必不可少。每次我們選擇工作方法、決定是否要與對方展開戀情或是未雨綢繆地將錢存起來,都是在對未來將要發生的事情進行預測,也是在對我們計劃的成功概率進行預測。
不是所有的日常問題都需要費心思量,我們作每個決定的時間是極為有限的。盡管如此,我們每天還是要進行許多預測,隻是有時沒有意識到而已。
正是齣於這個原因,本書將預測視為人們共同的事業,而不僅僅是一些頂級專傢或相關從業者的職責。取笑那些專傢的預測失誤總是樂趣無窮,而在幸災樂禍的同時,我們自己也要多加小心。如果說我們的預測不會比那些專傢更糟,隻不過是欲貶先頌罷瞭。
然而不可否認,預測在科學領域中的確扮演著重要角色。你們中有些人也許對我此前提到的一個前提感覺不舒服,現在我來澄清一下這個前提:我們永遠都不可能做齣完全客觀的預測,因為這些預測總會帶有主觀色彩。
但是,本書對“根本不存在客觀真理”這一虛無縹緲的說法完全不贊同。相反的,本書認為要做齣準確的預測,首要的前提就是堅信客觀真理的存在,並且執著地追尋它。而預測者的另一個承諾,就是要認識到他無法窮盡對客觀真理的認知。
預測之所以重要,是因為它連接著主觀世界與客觀現實。科學哲學大師卡爾· 波普爾早就意識到瞭這一點。對他來說,假設並不科學,可證僞的假設纔是科學的。這就意味著在真實世界裏,假設可以通過預測得到檢驗。
令我們裹足不前的是,經過驗證的那些為數不多的想法的實際作用並不大,而且許多想法未經過檢驗,或者根本就無法檢驗。在經濟領域中,驗證失業率預測的準確性要比驗證刺激消費政策的效果的論斷容易得多。
我不會像波普爾那樣,斷言這樣的理論不夠科學或者沒有價值。事實是,少數幾個可以檢驗的理論得齣的結果很糟糕,這就錶明我們沒有檢驗的那些想法中有很大一部分是大錯特錯的。毫無疑問,我們生活在幻想中卻不自知。
但解決方法還是有的,這種方法不依靠不成熟的政策—尤其是當我意識到齣現這個問題在很大程度上是因為美國的政體有問題時—它需要的是態度上的轉變。
這一態度會通過貝葉斯定理得到體現,我在第八章中會講到這一定理。貝葉斯定理名義上是一個數學公式,但其內涵卻遠遠超齣公式的範疇。這一定理錶明,我們必須從不同角度去思考我們的想法,以不同的方式檢驗我們的想法。我們要坦然麵對各種可能性和不確定性,更加周詳地考慮我們對一個問題的假設和看法。
本書可以粗略地分為兩部分。前7 章的內容分析預測的問題,後6 章的內容對貝葉斯定理進行瞭探討和應用。
每一章都圍繞著一個特定的主題展開,並且對其進行深入分析。不可否認,這是一本復雜詳盡的書,一方麵因為細節通常可以揭示關鍵問題;另一方麵,在我看來,專注於某一問題的研究總會得到比概括研究更深刻、更獨到的見解。
我選擇的話題通常是公眾共享的信息,預測的案例很少依據私人信息選擇(公司利用客戶記錄預測新産品的需求量)。我更傾嚮於那些大傢可以一起挖掘真相的話題,你不需要隻聽我的一麵之詞。
本書的閱讀路徑
本書涵蓋瞭自然科學、社會科學以及體育運動等各個領域的諸多實例。書中將許多相對通俗易懂的案例改造成需要稍微加以巧妙處理的案例。這些案例對成功的預測與失敗的預測進行瞭清楚的劃分。
第一章至第三章討論瞭近期齣現的金融危機大背景下的失敗的預測,預測中有的很準確,有的則很離譜。預測會讓你想到關於預測的最基本的問題:在應用數據時,我們怎樣纔能做齣客觀的判斷呢?關於市場競爭,什麼時候可以做齣更準確的預測呢?當我們意識到未來與過去不一樣時,又如何在兩者之間進行協調呢?
第四章至第七章重點講述動態係統:地球大氣層的動態會帶來天氣的變化,構造闆塊的運動會引發地震,復雜的人類活動會影響美國經濟,還有傳染病的傳播、擴散。最優秀的科學傢正在研究這一係列的因果關係,然而各類動態係統使得預測變得更加睏難,這些領域的預測活動總是不盡如人意。
第八章至第十章主要探討解決方案。首先介紹瞭一個體育賭徒,他在運用貝葉斯定理時比許多經濟學傢或科學傢還專業,之後講到撲剋牌。體育和遊戲都遵守規則,這一點是檢驗預測技巧的實驗所必需的。這幾章幫助我們更好地理解什麼是不可測性和不確定性,讓我們深刻理解如何把信息轉變為知識。
然而,貝葉斯定理也可以被用來解決更多現存的問題。第十一章至第十三章講到瞭3 個問題:金融市場泡沫、全球變暖和恐怖主義。這3 個問題對那些預言傢和美國社會而言,都很棘手,但如果接受挑戰,我們就能使我們的國傢、我們的經濟和我們的星球更加安全。
自從有瞭印刷機,我們的世界已經經曆瞭太多。信息不再那麼稀有,我們擁有的信息太多,甚至多到無從下手,但有用的信息卻寥寥無幾。我們主觀地、有選擇地看待信息,但對信息的麯解卻關注不夠。我們以為自己需要信息,但其實我們真正需要的是知識。
信號是真相,噪聲卻使我們離真相越來越遠。本書為你呈現的就是信號和噪聲的故事。
在綫試讀
第一章 預測失敗的災難性後果
2008年10月23日,股票價格較前5周暴跌瞭約30%,美國股市崩盤。許多如雷曼兄弟公司一樣曾備受推崇的公司紛紛宣布破産。在拉斯韋加斯,多傢公司市值縮水40%。失業率飆升。金融機構破産,數韆億美元流失。民意測驗顯示,當時美國民眾對美國政府的信心已降至最低點。此時距美國的總統大選還有不到兩周的時間