-
谷歌張智威：Google一下消耗12卡能量
發布時間 : 2010-08-19 08:29:00 來源 : 金站網 瀏覽次數 :
8月18日消息，谷歌中國研究院副院長張智威在2010年中國互聯網大會“云計算產業高峰論壇”上表示，能源問題成為全球關注的問題，谷歌也在利用云計算降低每次搜索的能耗。張智威指出，目前Google搜索一下的能耗是12卡，而喝一瓶啤酒大約是500卡。結果谷歌自身的努力，目前花在冷卻方面的費用已從原來的占35%費用總額降至9%。
以下是谷歌中國研究院副院長張智威演講實錄：
張智威： 各位老總、各位嘉賓，大家好！
剛才很多老總提到很多云計算的服務跟應用，我們覺得非常感動。另外有些老總提到云計算的技術可能已經很成熟了，但是谷歌覺得云計算很多地方在技術上可以進一步推。今天跟大家分享一下，谷歌在最近這一兩年，在未來一兩年云計算的技術做怎樣的拓展。
如果要了解云計算，可能要了解它的一些規模跟它的應用極端。怎么看規模呢？首先我們看一下GFS，大家都了解谷歌的文件系統。我們覺得GFS已經有點過時了。同時，我們覺得MAPREDUCE也有它的問題。為什么現在這些都不夠力呢。
跟大家做一個比方吧，幾年之前，我在大學的時候，那個時候他們說GADBIC，TIROBIC，往后面走，可能我們講的是TERA，需要非常大的存儲。如果你現在用的技術是要登錄月球的技術，可能沒有到宇宙暢游，所以在技術上，我們必須做革新。接下來跟大家闡述一下，到底哪邊出了問題。比如說，我們看看這幾個不同的非常受歡迎的應用。
這些證明了一些計算的極端，我就舉兩個例子，因為時間的關系。搜索引擎用戶數量是非常大的，精確數量是中等的。如果您今天搜集的信息，我們有5臺機器，兩臺是當掉的，如果丟了東西，您可能根本都不知道，所以它的精確度不需要很高。但是，你用云計算做科學計算，比如說發一個飛彈，那精確性可就不能開玩笑了。另外其他幾個方面，大家可以看到，比如可靠度、數據量。可靠度也是非常重要的，假設你用云做股市交易的話，你不可能中間宕機，大家的交易就不能實現了。
所以，大家考慮到這方面，必須考慮極端。我們接下來用一個例子來做解釋。假設，今天我們只用一臺計算機、一臺服務器，我們來設計一MUNICATION MODEL，我們第二個級別是一個計算機的機架，40臺的服務器，第三個是一個計算機中心。我們假設有十萬臺的服務器。在這三種不同情況的結構下面，你們覺得軟體的寫法，或者是它的技術是一樣的嗎？我們看看幾個數據。
首先，有三個很重要的數據，一個是LATANCY，當你到內存取資料的時候，到底中間的容量是多少。第二個是你每次取樣的時候，有多少數據會取回來。第三個是容量，里面的容量到底有多少。這個本題幾乎趨近于零，但是如果我們看一個機架，我們再來看這個數據，它的數字有點變化。下一幅大家看，它的LATANCY變高了，你看在機架這種級別上面，他們兩個的級別基本上差不多了。這個時候，如果想考慮它的價格的話，多用一點BRAN，如果在數據中心級別來講，這些數據又改變了。比較大的改變是它的單位又改變了，我們加那么多的CPU加了那么多的東西，為什么它往下走了？從一個CPU的觀念來看，好像今天四環堵車了，你說好，我把四換從四個人增加到八個人，增加了幾倍機器，但是從出四環和進四環的路沒有拓寬，最后堵死在那邊了。
我們最近覺得有什么樣的云計算設計挑戰呢？至少跟大家分享三方面，第一個是能源的節約。剛才有一兩位老總講到能源，能源非常重要。一方面我們希望節約能源，不希望在地球上摧毀整個的環境。過去幾百年來，基本上每30年，我們的地球能源消耗會雙倍一次。但是最近這一年，尤其在亞洲情況非常嚴重，也許五六年就提高了一倍，甚至在中國，在東亞，大概五六年資源就提高了一倍。我們GOOGLE搜索一個研究大概是12卡，你喝了一瓶啤酒大概是500卡，你喝了一餅啤酒，大概是2000多搜索。我們必須把搜索的卡降低，如果你的成本特別高的話，將來你的公司可能沒有辦法得到非常好的利益。為什么要節能、節源，這是非常重要的，必須使你的利潤提高。
在谷歌，我們經過多少年的調研，我們在能源使用上有非常好的突破。在左邊是云計算的平臺，可能50%的能源是花在IT方面的，其中的35%是花在冷卻的。谷歌在這方面有很多的研究，所以在冷卻方面只花9%的能源。能源效應是6%，它大部分能源是做有效工作的。如果說你投資兩塊錢，在別的平臺上服務是兩塊錢，在谷歌的平臺上也許便宜很多。
第二個是故障恢復，你存在銀行的錢不見了，故障修復是非常重要的環節。即使我們的機器是99.9%的使用時間，一年也有9小時的故障吧。如果有1000臺的服務器的話，一般在北美有0.25次的斷電，3次的路由器故障，100次的計算機故障，1000秒的硬碟故障，這種情況下，要保證數據不會丟失，還要正常運轉。
故障的快速修復有很多的環境，比如說復制，對一些比較對正確性不是特別關切的搜索，我們可以做松散的一致性，近似的答案，或者不完整的答案。
最后一個要跟大家分享的是，新的城市設計的模式。我們知道MERIDUCE已經做了很多年了，它有它的問題。另外我們在技術上加了FLASH，我們加了CPU，所以跟大家分享兩個事情，一個是在這樣的不同的情況下，我們發現FLASH樂不太適用，我們基本上有下面幾個重要的突破。新一代集群級文件系統，第二個是自動分布元素據層，它的讀寫用REEDSOLOMON技術，客戶驅動的編碼和復制也可以由顧客來做制訂，預測、規劃和優化數據移動非常重要，尤其我們希望把數據搬到離用戶比較近的地方。縮短服務的延遲，這是絕對重要的，對所有用戶來講，延遲是很重要的課題。最后是故障修復。
這個是并行算法的一個比較，如果做研究的人比較有興趣。但是一般來講，大家可能看到這個圖片覺得想睡覺。但是MERIDUCE有一個很大的問題，它每次要做大量的數據之前，要把數據在硬盤上讀出來，最后再寫回去。好處是，如果你的硬盤宕掉了，修復非常容易。壞處是你的修復是有地跌性的，每次都要寫IO，非常花費時間，所以我們也希望有一個新的算法把這個問題解決。
數據規模為什么要大呢？我這里邊做一個非常簡單的例子來解釋一下。假設今天我說了我只有100臺機器，我只能搜集少量的數據來做一些算法的精確度。這個圖的左邊，它基本上秀的是，如果我的數據只有大概，它有四種算法，比如我們看第三種方式，在數據比較小的時候，它的精確度不是很高。但是我們繼續加很多數據，繼續再加。這個時候一個不算太好的算法，在非常多的數據情況下，它變成第一了。數據規模可以使算法優化的。在以前我們做研究的時候，常常用的小數據，我的算法贏了別人，然后發表一篇論文。但是在谷歌里面常常說，小規模數據的算法反而在大規模數據是最后一名。大規模的運算開始算法的精確度提高很多，第一個是谷歌翻譯，谷歌翻譯搜集了非常多的聯合國的文件，根據那個文件做樣本。所以你今天打進的詞條，就有這個翻譯把這個傳進去，而不是非常傳統地做算法的MODEL。谷歌的語音識別是另外的例子，傳統的算法數據只有60%。但是因為我們搜集了非常多的數據做訓練，所以我們就可以增加到80%多。
最后的例子，我們可以用大量的數據，還有用戶的一些反饋做一些趨勢的預測，這個非常有利的，我舉一兩個例子。去年我們有禽流感，或者H1N1大家比較緊張，后面這個圖是國際衛生組織發布的禽流感感染人數，在谷歌內部，用戶的關鍵搜索詞，實際上在衛生組織發布數據之前，我們就已經早就知道了。譬如說你今天身體不舒服，你打感冒藥等等的，我們把關健詞做一個統計，你可以看到谷歌在兩三個月之前，在他們沒有發布這個疫情之前，我們就已經知道這個數據了。
我再舉一個很簡單的例子，在國外經濟情況好好壞壞，一會兒好、一會兒壞，我們外面的人只有在每一個月，或者每一個季度之后，我們才看到這個經濟的報告。這個時候，你是炒股的話，可能晚一點。但是我們可以看看關鍵字，最近搜餐廳的比較多了，那可能經濟情況比較好了。搜炒菜、煮菜的，可能最近大家比較窮了，可能大家最近自己生火做飯。
我就舉一些負責膚淺的例子了，有些關鍵的搜索詞是可以拿來做數據應用的。今天就跟大家分享一下谷歌的超級云計算平臺技術。顯然因為規模，算法的規模是越來越大的，既有的技術是永遠沒有辦法跟上，所以已經一直在做調研，希望能替云計算技術做更好的突破與開發，謝謝各位！
