Facebook數(shù)據(jù)天才之一杰伊-帕瑞克
北京時間2月5日消息，目前，F(xiàn)acebook已經發(fā)展成為全球最大的社交網絡，擁有超過10億活躍用戶。九年的成長歷程中，F(xiàn)acebook不僅僅遇到了一般公司發(fā)展過程中常見的麻煩，也因為巨大的用戶數(shù)量級，遭遇更多常人難以想象的“大數(shù)據(jù)”。Facebook崛起之路上，究竟有哪些頂級數(shù)據(jù)天才、頂尖數(shù)據(jù)技術的支持呢？以下是文章全文：
杰伊·帕瑞克的辦公桌，就放置在美國加州門洛帕克Facebook總部16號樓里，而他的行政助理吉尼·薩穆埃爾，就在離他不遠的地方工作。每隔一段時間，帕瑞克都會聽到薩穆埃爾咯咯地傻笑，而這就意味著，她很有可能又在Facebook上傳了一些令人尷尬的照片，并且將帕瑞克標記了出來。通常情況下，帕瑞克自己Facebook頁面上的通知，總會緊跟著她的笑聲浮現(xiàn)。而如果通知沒有如約而至的話，他就可能就要忙碌起來了。
帕瑞克是Facebook基礎設施工程部門的副總裁，負責這個全球最大社交網絡的硬件和軟件。如果頁面上的通知，沒有在幾秒鐘之內直接快速出現(xiàn)，那么他就要仔細檢查自己的工作，然后努力找到造成這種情況的原因了。麻煩的是，F(xiàn)acebook的基礎設施，已經擴展到全球四個不同的地方，四個大型數(shù)據(jù)中心，數(shù)十萬臺計算機服務器，除此之外，還有更多的軟件工具——深深吸一口氣，你也很難在不間斷的情況下，說完它們的名字。而導致通知未能出現(xiàn)的原因，就埋藏在這個網絡的某一個角落中。
這就是為什么帕瑞克和他的團隊，會打造像Scuba這樣的工具。Scuba是一個具有劃時代意義的軟件平臺，它可以幫助Facebook的工程師們，及時對公司基礎設施數(shù)據(jù)進行挖掘分析。通常情況下，處理如此海量的數(shù)據(jù)是需要耗費些時間的。你甚至可能需要幾個小時的時間才能處理完所有的事情。不過，對Scuba來說這就不再是問題，它是一種內存式的數(shù)據(jù)存儲——將所有的數(shù)據(jù)，存儲在數(shù)百個計算機服務器高速內存中——這意味著你可以更實時地進行數(shù)據(jù)查詢。
帕瑞克表示：“它讓我們能夠了解基礎設施工作情況——我們的服務器做得如何，我們的網絡表現(xiàn)如何，不同地軟件系統(tǒng)交互的如何。所以如果吉尼在一張照片中標記了我，而通知在幾秒鐘之內都沒有顯現(xiàn)，我們就可以查看Scuba來查找問題。”
九年之前，馬克·扎克伯格在哈佛的宿舍里推出了震驚世界的Facebook，而現(xiàn)在它已經一舉發(fā)展成了世界上最流行的社交網絡。扎克伯格和他的公司，建立了這個星球上最先進的工程業(yè)務，而有趣的是，他們這樣做的主要原因實在只是由于迫不得已。Facebook面臨著一個獨特而艱巨的任務——服務10億個不同的用戶，并且要去處理10億個不同的消息、照片、視頻，以及很多其他的數(shù)據(jù)源——這一任務對的技術要求，比你想象的還要多。
是的，F(xiàn)acebook的工程大軍中，不乏像拉爾斯·拉斯穆森這樣，創(chuàng)作了社交搜索工具GraphSearch的天才，也有幫助美化工具、測試、部署應用程序的人。而現(xiàn)在，F(xiàn)acebook的硬件工程師，也擁有像阿米爾·邁克爾這樣的天才，他們負責服務器設計、存儲設備以及整個數(shù)據(jù)中心管理。
Facebook還打造了一個，由頂級工程師組成的數(shù)據(jù)處理團隊——這項工作在現(xiàn)代網絡中的重要性，已經日趨明顯。Scuba僅僅只是Facebook眾多“大數(shù)據(jù)”軟件平臺的冰山一角——利用分布式系統(tǒng)，讓數(shù)百上千個計算機上，可以協(xié)同分散處理一個單一的任務。
包括拉古·穆爾蒂，艾弗里·清，約什·梅茨勒在內的工程師們，打造了這些出色工具。它們不僅僅能夠排除Facebook數(shù)據(jù)中心內的故障，還能幫助Faccebook數(shù)據(jù)科學家，分析Facebook的在線應用的有效性，以及用戶的行為。
雖然谷歌(微博)的“大數(shù)據(jù)”平臺，仍然被公認為全網最領先的。但是隨著Facebook開始拓展自己的網絡帝國，這家社交網絡巨頭并沒有被谷歌甩開太遠，而與谷歌不同的是，F(xiàn)acebook希望與全世界共享它的軟件。谷歌總是在分享自己的想法、思路，而Facebook則是在分享自己的代碼，并希望其他人能夠好好利用。帕瑞克表示，“我們公司的使命，是讓全世界連接在一起，并且變得更開放。而在我們進行基礎設施建設的同時，我們也在幫助促進達成這一使命。”
NewsFeed的故障
Facebook數(shù)據(jù)團隊的創(chuàng)始人，叫作杰夫·哈梅巴赫。與扎克伯格一樣，哈梅巴赫也曾經是哈佛的一名學生，不過他的專業(yè)是數(shù)學。在2006年春天接受Facebook的工作之前，他曾在紐約貝爾斯登擔任數(shù)據(jù)科學家一職。
哈梅巴赫認為Facebook的數(shù)據(jù)操作靈感，要追溯到一天下午，那時他還在貝爾斯登，路透社的數(shù)據(jù)訂閱突然出現(xiàn)了故障。而猶豫數(shù)據(jù)訂閱癱瘓，沒有人能進行交易。故障持續(xù)了一個鐘頭，而造成問題的原因，讓人有些哭笑不得
——負責這項任務的那個家伙，出門吃了個午飯。
哈梅巴赫突然意識到，這次嚴重的故障證明，數(shù)據(jù)工具的重要性絲毫不亞于數(shù)據(jù)專家。哈梅巴赫回憶說，“我突然發(fā)現(xiàn)了一個空白——需要創(chuàng)建一個完整的系統(tǒng)，采集數(shù)據(jù)，并且全部跑完整個數(shù)據(jù)模型——在每一個點上，盡可能優(yōu)化系統(tǒng)。”
這基本上簡單地概括了他在Facebook的工作。Facebook最初聘請他，是作為一名數(shù)據(jù)科學家——幫助通過信息分析理解公司運作。但是由于路透數(shù)據(jù)訂閱失誤，給他留下了深刻的印象，哈梅巴赫更近一步。
他打造了一個團隊，管理整個公司的數(shù)據(jù)。這一團隊不僅分析數(shù)據(jù)，還創(chuàng)建并運行一個負責收集、處理數(shù)據(jù)的工具。
他剛加入Facebook的時候，這家公司還在使用老舊的甲骨文數(shù)據(jù)倉庫處理信息。但是這樣的軟件設計，已經無法跟上Facebook迅速發(fā)展的腳步。
哈梅巴赫還推薦Facebook使用開源軟件平臺Hadoop——Hadoop可以將數(shù)據(jù)分散到商用服務器的海洋，這些機器將協(xié)同處理數(shù)據(jù)，讓它們變成真正有意義的信息。這有著很強的誘惑力，因為商用服務器的價格往往相對較低，而當你的數(shù)據(jù)擴展變多的時候，你只需要添加更多的機器就可以輕松應對了。
雅虎利用Hadoop構建了網絡搜索引擎索引，但是哈梅巴赫和Facebook，則把它用作了幫助公司數(shù)據(jù)科學家的方法——能夠比甲骨文的數(shù)據(jù)倉庫，處理更大量的信息。
而Facebook還研究了一個叫作Hive的產品——分析師可以應用這一工具，使用一種與結構化查詢語言相似的語言，處理Hadoop上的數(shù)據(jù)。而Hive也很快發(fā)展成為了Facebook主要的在線廣告性能分析工具。
2008年秋天，哈梅巴赫離開了Facebook，并幫助創(chuàng)建了Cloudera公司。
未來的Hadoop
現(xiàn)在，無論是Twitter還是eBay或是LinkedIn在使用Hadoop，而Facebook則將這一分布式系統(tǒng)基礎架構上升到了新的極致。并且，Hadoop正致力于將此服務平臺做到極致。基礎設施負責人杰伊·帕瑞克曾表示，F(xiàn)acebook運行著世界上最大的Hadoop計算機集群。Facebook的Hadoop集群中的一個，就涉及了超過4000臺機器，存儲著超過100PB字節(jié)的數(shù)據(jù)，也就是數(shù)百萬gigabytes的數(shù)據(jù)。
這個集群是非常龐大，甚至已經超越了四個數(shù)據(jù)中心。Facebook使用Hadoop服務器來分配分布于各離散數(shù)據(jù)中心的數(shù)據(jù)空間，使每次的尋址過程自主進行。Facebook工程師拉古·穆爾蒂說。“我們的規(guī)劃總是目光長遠的，但是，我們必須通過這個過程，將所有數(shù)據(jù)遷移到新的地方去。”幾年之前，拉古·穆爾蒂還在完成斯坦福大學Ph.D.項目的時候，被杰夫·哈梅巴赫；目前為止，他作為Facebook大數(shù)據(jù)業(yè)務團隊的中堅力量，已工作四年有余。
Facebook信誓旦旦地表示絕不會再犯類似的錯誤，于是開始著手建立一個跨越多個數(shù)據(jù)中心的Hadoop集群。該項目由穆爾蒂負責，他曾經參與搭建雅虎的pre-Hadoop分布式計算系統(tǒng)，并吸引到了哈梅巴赫的注意。如今，穆爾蒂已經參與過，包括Hive在內的許多Facebook的重要項目的研發(fā)。但是，這還是有些許不同——Hadoop的設計并沒有考慮多設備之上運行情況。通常情況下，由于需要服務器之間的高負載通信，集群被限制在了單一數(shù)據(jù)中心。
穆爾蒂和他的團隊成員，在整個Facebook地基礎設施上，推出了一個叫作Prism平臺。典型的Hadoop集群，通常是由單一的“命名空間”管理，但是Prism則開辟出多個命名空間，在一個相同的物理集群之上，創(chuàng)造了很多“邏輯集群”。
這些“命名空間”可以劃分給不同的Facebook團隊，這樣每一個團隊都能夠得到屬于自己的命名空間，不過仍然全都在使用同一個數(shù)據(jù)集，而這個數(shù)據(jù)集可以跨越多個數(shù)據(jù)中心。這里的訣竅是，當一個團隊運行一項工作的時候，它可以復制這項工作所需要的特定的數(shù)據(jù)，并且把它移進一個單一的數(shù)據(jù)中心。穆爾蒂表示，“我們將這些能力下放到獨立的小團隊，因為他們能夠更好的了解網站特殊部分的獨特需要。”
根據(jù)穆爾蒂，這一系統(tǒng)理論上，可以擴展到無限多個服務器上。這意味著，F(xiàn)acebook不必再去擔心，需要打造另一個新的數(shù)據(jù)中心了。對于數(shù)據(jù)團隊的托斯來說，這意味著他能夠保證這一基礎設施平穩(wěn)運行——這有一個額外的好處，他表示，“把整個Hadooop集群放在一個數(shù)據(jù)中心中，讓我害怕極了，而Prism能夠幫助在這一點上提供幫助。”
Prism只是眾多擴展Hadoop的努力中的一個。前任雅虎雇員艾弗里·清帶領的團隊，最近剛剛部署了一個新的叫作Corona的平臺，允許多個工作，在一個單一的Hadoop集群之上，而并不會導致崩潰。
穆爾蒂還幫助建造了一個叫作Peregrine的工具，能夠讓查詢Hadoop數(shù)據(jù)的速度比標準情況快很多。Hadoop的設計初衷是一個“批處理系統(tǒng)”，這意味著，通常需要在運行作業(yè)的時候進行等候，但是和Impala相似的是，Peregrine可以讓平臺更接近實時。
Facebook并沒有與外界共享所有的軟件，但是卻分享了Corona，而如果以此作為習慣參考，它很有可能會在未來分享更多的代碼。這就是為什么像艾弗里這樣的工程師會在這里工作，“在Facebook，我們比起他人更早地遇到問題，而其他人就可以從中受益，他們不需要重蹈覆轍，也不需要重頭再來。”
數(shù)據(jù)天才們的糖果樂園
Hadoop是Facebook數(shù)據(jù)操作的基石，這種情況還將延續(xù)很多年。但是隨著Scuba等工具的興起，F(xiàn)acebook也將轉投新的方向。
Scuba是一款正在快速增長的內存數(shù)據(jù)儲存工具，設計的主要目的是為了極大的提高數(shù)據(jù)信息分析的速度。這款工具是由Facebook公司的工程師團隊開發(fā)的，該團隊中包括一位在頂級編程網站TopCoder上，排名第一的工程師約什·梅茨勒。Scuba在Facebook的數(shù)據(jù)中心中運行，幫助該公司收集基礎設施的信息，并這些log壓縮在數(shù)以百計的服務器內存中。所以，這些數(shù)據(jù)可以被即時查詢到。
帕瑞克表示：“這就像Excel的數(shù)據(jù)透視表一樣。即使你在處理數(shù)以百萬計的數(shù)據(jù)，你也可以在亞秒級的響應時間里得到結果。”
是的，這個項目看起來似乎與Peregrine有些重疊——至少在一些部分上存在重復。但就像杰夫·哈梅巴赫指出的，這款工具是Facebook精神的一部分。“Facebook做事的方式，就是尋找最短路徑的解決方案，而并非打造一款大而全的系統(tǒng)，來處理所有問題。”就像Facebook的其他項目一樣，Scuba是在公司級的黑客馬拉松中脫穎而出的。工程師遇到問題就自己解決，而非等到其他項目來幫他們解決問題。
這種情況在Facebook中隨處可見。SantoshJanardhan曾就職于PayPal和YouTube，但是在他眼中，這些公司的工作相比之下非常微不足道。“Facebook擊敗了他們。對于我來講，在這里我感覺到了壓力。”工程師在這里希望解決更大的問題。“如果你是個技術迷，那么這里就像是糖果樂園。”
推薦閱讀
陷入出售困境的中華英才網又掀起波瀾。日前有業(yè)內人士爆料稱，中華英才網于昨日正式展開裁員，被辭員工獲N+3月薪補償，懷孕女員工補償增加24月，一位工作十年的懷孕經理獲37月薪補償，獲得賠償金達幾十萬。對于被裁員>>>詳細閱讀
本文標題：Facebook崛起背后的數(shù)據(jù)天才
地址：http://www.brh9h.cn/a/guandian/yejie/20130205/259237.html
網友點評
精彩導讀
科技快報
品牌展示