用戶名: 密碼: 驗證碼:

投資百億自建數(shù)據(jù)中心 展露出快手“存儲世界”的野心

摘要:短視頻公司快手投入百億在內(nèi)蒙古的烏蘭察布開建數(shù)據(jù)中心,設計容量為30萬臺服務器。服務器互聯(lián)網(wǎng)前五意味著什么?快手為何要自建數(shù)據(jù)中心?快手自建數(shù)據(jù)中心有何不同思路?聽聽本文作者的看法。

  6月6日,快手宣布在內(nèi)蒙古烏蘭察布市投資百億自建數(shù)據(jù)中心,這是快手首個自建的數(shù)據(jù)中心,面向快手未來五年內(nèi)的大數(shù)據(jù)與人工智能場景,設計容量為30萬臺服務器,將擁有最大規(guī)模的離線計算服務器集群,是業(yè)界最大的專用于大數(shù)據(jù)/AI的數(shù)據(jù)中心。

  烏蘭察布是內(nèi)蒙古距離北京最近的地方,從北京駕車一路向西北,出了張家口就是內(nèi)蒙古烏蘭察布。得天獨厚的地緣位置,便捷的高速與高鐵網(wǎng)絡,涼爽舒適的氣候,資源豐富的電力、便捷的光纜通道、全國最優(yōu)惠的電價,再加上當?shù)卣罢暗摹安菰乒取睉?zhàn)略規(guī)劃,使得烏蘭察布成為我國重要的數(shù)據(jù)中心聚集地。

  在快手前,華為、阿里和蘋果等公司的11個數(shù)據(jù)中心項目已在烏蘭察布落地,總投資規(guī)模達到357億元,服務器規(guī)模150萬臺,“南貴(陽)北烏(蘭察布)”的數(shù)據(jù)中心格局已經(jīng)形成。快手百億投資數(shù)據(jù)中心,將進一步促進烏蘭察布大數(shù)據(jù)產(chǎn)業(yè)發(fā)展,給當?shù)卦贕DP、招商、就業(yè)、城市建設規(guī)劃與稅收上帶來直接好處。作為視頻與AI頭部企業(yè),快手在烏蘭察布的數(shù)據(jù)中心也將專用于大數(shù)據(jù)與AI,因此將給當?shù)卮髷?shù)據(jù)產(chǎn)業(yè)帶來更多想象空間。

  烏蘭察布距離快手北京海淀總部330公里,車程4小時左右,如今烏蘭察布已實現(xiàn)高鐵進京,快手總部的技術人員只需10分鐘即可到達清河高鐵站,再乘坐100分鐘高鐵到達烏蘭察布,參與到數(shù)據(jù)中心的建設與運維中。

  投資烏蘭察布數(shù)據(jù)中心快手服務器規(guī)模一下躍升到全國互聯(lián)網(wǎng)行業(yè)前五,目前阿里與騰訊的數(shù)據(jù)中心服務器規(guī)模在百萬級,屬于第一梯隊;百度、字節(jié)跳動、快手與京東則屬于第二梯隊,擁有幾十萬臺服務器。跟BAT等互聯(lián)網(wǎng)巨頭的數(shù)據(jù)中心不同,快手烏蘭察布數(shù)據(jù)中心是國內(nèi)互聯(lián)網(wǎng)行業(yè)第一個自主研發(fā)并獨立完成整體概念設計的數(shù)據(jù)中心,快手將擇機開源其概念設計方案,助力國家“新基建”戰(zhàn)略——數(shù)據(jù)中心/云計算是新基建七大領域之一。

  那么,快手投資百億自主研發(fā)與建設數(shù)據(jù)中心是出于什么考量?快手服務器規(guī)模躍升互聯(lián)網(wǎng)行業(yè)前五意味著什么?結合對快手IDC技術負責人張子堅的采訪,羅超頻道視圖找到答案。

  一、服務器互聯(lián)網(wǎng)前五意味著什么?

  互聯(lián)網(wǎng)是實體世界的“比特化”,數(shù)據(jù)中心負責生產(chǎn)與存儲“比特”。不論是外賣、電商、視頻、直播還是搜索,一切跟互聯(lián)網(wǎng)有關的應用背后,都有數(shù)據(jù)中心在發(fā)揮基礎作用。服務器在數(shù)據(jù)中心日夜不眠地響應需求、運行代碼、運算數(shù)據(jù)、得出結果,這些結果通過有線光纜與無線信號傳輸?shù)接脩粼O備,最終被展示為用戶在互聯(lián)網(wǎng)上所看到的一切。

  數(shù)據(jù)中心就是互聯(lián)網(wǎng)業(yè)務的基礎設施。2015年,谷歌公布過一組圖片引發(fā)外界震撼,當時它已擁有以太級別的數(shù)據(jù),遍布全球的36個數(shù)據(jù)中心:美國19個、歐洲12個、俄羅斯1個、南美1個和亞洲3個(北京-Google.cn、香港-Google.com.hk和東京各1個),驅動著這個全球最大的搜索引擎,谷歌將數(shù)據(jù)中心稱為“互聯(lián)網(wǎng)實體”,即唯一能夠讓你“肉眼可見的互聯(lián)網(wǎng)”。

  互聯(lián)網(wǎng)公司的數(shù)據(jù)中心規(guī)模與業(yè)務規(guī)模成正比。阿里騰訊擁有百萬級服務器的數(shù)據(jù)中心位居第一梯隊,這與其在互聯(lián)網(wǎng)行業(yè)的體量成正比。快手服務器互聯(lián)網(wǎng)行業(yè)TOP5是其躋身巨頭行列的側影。

  一方面是用戶規(guī)模。易觀數(shù)據(jù)顯示,今年4月抖音與快手活躍人數(shù)分別達到5.85和4.87億,環(huán)比增長率分別為3.8%和3.6%。4.87億活躍用戶在互聯(lián)網(wǎng)行業(yè)屬于巨頭級水平。同時,快手的營收水平也已達到巨頭水平,有媒體報道,快手2019年總收入500億元,其中直播收入接近300億元。

  另一方面是業(yè)務廣度。快手不再只是一家短視頻公司。與快手并列服務器規(guī)模TOP5的巨頭,阿里、騰訊、百度、字節(jié)跳動業(yè)務都相對龐雜,快手聚焦短視頻業(yè)務,向產(chǎn)業(yè)滲透實現(xiàn)“快手+”。

  QuestMobile數(shù)據(jù)顯示,今年2月快手上看直播的用戶量占日活用戶的比例達到50%,大力發(fā)展直播業(yè)務的抖音的這一比例只有28%,快手事實上已是最大的直播公司。直播+短視頻電商的成功讓快手成為電商行業(yè)的鯰魚,最新數(shù)據(jù)顯示快手電商日活已突破1億,今年618與京東戰(zhàn)略合作、推出首個“快手616品質購物節(jié)”,成為618舞臺中央的玩家。就在最近,周杰倫在快手開通個人首個中文社交媒體賬號,快手拿下了周杰倫音樂的短視頻版權,展現(xiàn)出對文娛產(chǎn)業(yè)的野心。

  直播、電商、文娛,不足以涵蓋快手的產(chǎn)業(yè)數(shù)字化野心。疫情期線下商業(yè)活動受阻,家電、汽車、旅游、服裝、家居、珠寶、KTV,各行各業(yè)在快手在線營業(yè),快手正在抓住機遇支持各行各業(yè)線上化、在快手產(chǎn)業(yè)化發(fā)展。快手正在構建的“數(shù)字世界”承載著包羅萬象的人間煙火,一定要有足夠大的數(shù)據(jù)中心來支撐。

  二、快手為何要自建數(shù)據(jù)中心?

  大多數(shù)公司包括總是跟快手被同時提及的字節(jié)跳動均采取租賃模式,只有BAT等少數(shù)巨頭才會自建。快手在國內(nèi)短視頻行業(yè)第一個自建數(shù)據(jù)中心,最直接的原因,是因為業(yè)務增長太快,采取傳統(tǒng)的租賃模式已很難滿足業(yè)務所需。

  一年前的618,快手提出著名的K3計劃:“2019年6月18日起,守護未來的戰(zhàn)斗模式開啟。戰(zhàn)斗的第一個目標:2020年春節(jié)之前,3億DAU?!苯衲瓿?A href="http://m.huaquanjd.cn/site/CN/Search.aspx?page=1&keywords=%e5%bf%ab%e6%89%8b&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">快手日活突破3億。此前快手已經(jīng)歷長期的高速增長,2018年快手就用不到半年時間實現(xiàn)6000萬日活增長,2019年用5個月時間實現(xiàn)4000萬日活增長,DAU超過2億。2020年疫情讓短視頻、直播、電商等在線業(yè)務均受益,3億DAU后,快手用戶大盤依然在高速增長,易觀數(shù)據(jù)顯示,今年4月快手活躍用戶增長3.6%,618前夕快手組織變陣、牽手京東、簽約周董,表明后疫情時代,快手依然在高速增長。

  2019年4月入職快手擔任快手數(shù)據(jù)中心技術負責人的張子堅曾先后在百度、美團等公司任職,是中國第一代“現(xiàn)代IDC”架構師,2007年到2015年初在百度負責自建IDC相關工作,作為技術團隊主要負責人參與了百度截至2015年所有自建IDC工作,包括容納15萬臺服務器、當時亞洲最大、采取自建模式的陽泉數(shù)據(jù)中心

  加入快手后,張子堅負責快手“IDC、網(wǎng)絡、服務器”等數(shù)據(jù)中心基礎設施業(yè)務的技術管理工作。2019年到現(xiàn)在是快手極速狂飆的階段,直播與電商大獲成功、成為2020年春晚獨家互動合作伙伴、DAU先后翻過2億與3億大關、營收從300億攀升到500億、躋身互聯(lián)網(wǎng)巨頭TOP5。

  張子堅在基礎設施這一層見證了快手業(yè)務的高速增長,在他看來“數(shù)據(jù)中心的發(fā)展是業(yè)務發(fā)展的映射”,BAT是伴隨跟互聯(lián)網(wǎng)用戶大盤的增長而增長的,增長曲線相對平緩,如今快手面臨的互聯(lián)網(wǎng)市場更加成熟,快手作為新一代互聯(lián)網(wǎng)公司,“從第十躍升到第五名,發(fā)展速度跟老一代互聯(lián)網(wǎng)公司比是不一樣的?!?A href="http://m.huaquanjd.cn/site/CN/Search.aspx?page=1&keywords=%e5%bf%ab%e6%89%8b&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">快手與字節(jié)跳動這兩家新銳巨頭的用戶增長曲線,均比BAT陡峭得多。

  去年9月有媒體透露,快手服務器數(shù)量突破10萬。今年春節(jié)快手拿下央視春晚,直播累計觀看人次7.8億,最高同時在線人數(shù)2524萬,“視頻+點贊”在直播期間一共有639億次紅包互動,再破記錄。相對于傳統(tǒng)口令、搖一搖紅包互動而言,視頻互動面臨的流量壓力更大,快手最終以“不宕機”的結果應對了春晚流量洪峰。春節(jié)后疫情期間快手業(yè)務繼續(xù)高速增長,服務器跟著不斷擴容。

  在加速各行各業(yè)數(shù)字化的戰(zhàn)略下,快手的加速度增長會繼續(xù),在業(yè)務“倒逼”下擴容服務器已經(jīng)越來越難以奏效,正是因為此快手有了新的想法:站在未來看現(xiàn)在。

  張子堅介紹稱,新一代互聯(lián)網(wǎng)公司增長速度更快,但同時互聯(lián)網(wǎng)成熟后未來業(yè)務需求更加明確,因此互聯(lián)網(wǎng)企業(yè)不能再用老的眼光去布局數(shù)據(jù)中心,即有了需求再擴容數(shù)據(jù)中心,這樣做就會有“小而多”的數(shù)據(jù)中心數(shù)據(jù)中心碎片化,調整與擴容會很困難,且運營成本高,難以滿足長遠發(fā)展。因此快手“站在未來去看現(xiàn)在”,面向未來三五年布局數(shù)據(jù)中心,烏蘭察布數(shù)據(jù)中心就是這一思維下的抉擇,且未來快手會繼續(xù)在華北、華東、華南規(guī)劃建設超大規(guī)模數(shù)據(jù)中心,滿足中長期發(fā)展需求,成為新基建的主力軍。

  不只是快手,建設超大規(guī)模數(shù)據(jù)中心已成為BAT等巨頭的共同選擇。不過,雖然方向一樣,但路線卻不同。

  三、快手自建數(shù)據(jù)中心有何不同思路?

  首先是自建還要自研。

  自建比較容易理解,采取租賃模式本質是用社會化供應,但社會化的基礎設施往往是滯后的。張子堅介紹稱,如今快手的體量大了,社會供應能力已經(jīng)跟不上,“某一年你有一個非常大的需求時,你需要數(shù)據(jù)中心的資源保障供應,如果社會資源在那個時候沒有辦法來供應給快手,它就會阻礙業(yè)務的發(fā)展?!闭且驗榇?,互聯(lián)網(wǎng)企業(yè)成為巨頭后基本都會自建數(shù)據(jù)中心。

  快手更進一步,不只是自建,而且自研,烏蘭察布數(shù)據(jù)中心是國內(nèi)互聯(lián)網(wǎng)行業(yè)第一個自主研發(fā)并獨立完成整體概念設計的數(shù)據(jù)中心。這是快手的第一個自建數(shù)據(jù)中心,不用成熟方案自主研發(fā)是一種冒險。快手如此抉擇的原因在于:

  1、快手第一個數(shù)據(jù)中心從0到1,沒有包袱,前人踩過的坑則可以成為借鑒;

  2、自研可以突破邊界,實現(xiàn)更極致的效率,快手烏蘭察布數(shù)據(jù)中心做到了建筑使用效率的最大化;電力資源利用的最大化,能耗指標PUE達到國際頂尖水平,預期最佳PUE1.08、平均PUE1.15,每年節(jié)電5億度,相當于種植180萬棵樹;規(guī)模應用新一代高壓直流技術,較業(yè)內(nèi)方案降低10%建設成本;規(guī)模應用新一代間接蒸發(fā)冷卻系統(tǒng),較業(yè)內(nèi)方案節(jié)水60%。正是因為此,快手才敢說烏蘭察布數(shù)據(jù)中心“達到國際一流水平”。

  其次是對存儲的“貪婪”。

  烏蘭察布數(shù)據(jù)中心主要有兩個用途,一個是大數(shù)據(jù),一個是AI,在存儲上,將支持60EB以上的總存儲容量,相當于超過300萬個國家圖書館信息存儲量。為什么會規(guī)劃如此大的存儲空間?

  《數(shù)字化生存》作者尼葛洛龐帝曾將世界一分為二:比特世界和原子世界,數(shù)字化的過程實際就是原子比特化的過程,他認為科技產(chǎn)業(yè)的一個重要趨勢,就是比特跟原子的結合。快手讓各行各業(yè)在線化,在快手產(chǎn)業(yè)化發(fā)展,在推動的事情本質是讓原子世界“比特化”,這一點與其使命吻合:一個記錄和分享生活的社區(qū),在快手每一個人都有機會被世界看到,也能看到更廣闊的世界,快手不刻意塑造大V,強調零運營,均體現(xiàn)出其在實打實地“映射真實世界”。

  快手映射真實世界形成的“數(shù)字世界”正是由海量大數(shù)據(jù)構成。截至目前,快手已積累200億條短視頻庫存,每天仍有超過1500萬條視頻新增,每天有千億條視頻曝光,200億次視頻播放。在短視頻外,快手上還有直播、圖片、文字、商品等等內(nèi)容,未來可能會增加更多內(nèi)容形態(tài),這些數(shù)據(jù),需要龐大的存儲空間。

  2019年,快手管理的數(shù)據(jù)量已達到EB級別,當時市面上的通用存儲服務器無法滿足海量視頻文件存儲需求,快手找到Intel來解決存儲和管理大規(guī)模視頻文件的問題。針對海量視頻文件的存儲需求,快手有包括磁帶、磁盤構建的冷存儲系統(tǒng),由NAND和3D Xpoint加上QLC構建的溫存儲,由英特爾傲騰持久內(nèi)存和DRAM內(nèi)存構建的熱存儲,三種熱度的存儲設備構成了完整的存儲池,在滿足業(yè)務的前提下,實現(xiàn)性能和成本上的平衡。

  5G帶來了低延時、高帶寬的網(wǎng)絡基礎設施,視頻與直播成為最受益的產(chǎn)業(yè),數(shù)字內(nèi)容高清化、實時化成為趨勢,短視頻平臺的數(shù)據(jù)量會進一步爆發(fā),我想這是快手站在未來看現(xiàn)在的一個考量。快手的數(shù)據(jù)會進一步“膨脹”,對數(shù)據(jù)中心的需求會日益增長,要求則會越來越高。

  可以說,將構建數(shù)字世界,映射物理世界,存儲真實世界作為愿景的快手,重視數(shù)據(jù)中心的大數(shù)據(jù)能力,對存儲空間十分貪婪,是一種必然。

  最后是將AI放在首位。

  快手烏蘭察布數(shù)據(jù)中心是國內(nèi)最大的專門針對大數(shù)據(jù)與AI的數(shù)據(jù)中心,未來五年也會專注于此,大數(shù)據(jù)與AI外的計算需求會讓別的數(shù)據(jù)中心承擔。專門針對大數(shù)據(jù)與AI投資百億的重要原因是快手是一家AI公司。雖然很多人說到快手會想到短視頻、直播、老鐵、社區(qū),但實際上,AI已經(jīng)滲透到這家公司業(yè)務的毛細血管里。

  在內(nèi)容創(chuàng)作環(huán)節(jié),快手的理念是讓每個人都能成為自己生活的導演、用手機去記錄生活并生成相對較高質量的視頻。要做到這一點,離不開AI。AR拍攝、“快手時光機”魔法表情等創(chuàng)新應用基于AI實現(xiàn)。快手用戶視頻上傳后、發(fā)布前,會被機器視覺算法檢測,如果有問題比如臟鏡頭導致視頻畫面模糊、光線問題導致畫面昏暗或者偏色,則會被用算法矯正,這背后是人體姿態(tài)估計、手勢識別、背景分割等多種AI技術的應用。此外,快手基于AI實現(xiàn)智能字幕、智能配樂、AI生成音樂等功能。內(nèi)容創(chuàng)作的AI應用一部分要在用戶手機端完成,快手自研YCNN深度推理學習引擎,解決了AI技術運行受限于用戶設備性能的問題,另一部分則由云端數(shù)據(jù)中心負責提供算力。

  在內(nèi)容推薦上,快手內(nèi)部有一個“基尼系數(shù)”指標,本來是經(jīng)濟學上關于貧富差距的名詞,快手用來做內(nèi)容分發(fā),確保每個人都有平等的被世界看到的機會。要實現(xiàn)這一點要對海量視頻數(shù)據(jù)進行大量的訓練,同時對用戶行為等數(shù)據(jù)進行畫像,再加以匹配。相對于圖文信息流而言,理解視頻對技術要求更高,這中間不只是要應用知識圖譜等技術,同時高度依賴機器視覺等技術。快手的界面十分簡潔,用戶卻能源源不斷地獲取感興趣的內(nèi)容,極簡體驗離不開AI。

  在內(nèi)容變現(xiàn)上,快手基于直播、電商和廣告等變現(xiàn),推出磁力引擎等面向廣告主的營銷服務平臺,發(fā)布“快品牌計劃”、“品牌C位計劃”,與京東、拼多多等電商巨頭合作,推出快手小店,幫助創(chuàng)作者變現(xiàn)、滿足品牌/商家的銷售與營銷需求,不論是廣告還是商品的推薦,每一個變現(xiàn)環(huán)節(jié)背后都有AI的驅動,確保用戶體驗、增加創(chuàng)作者收入、幫助品牌提高營銷效率、降低營銷成本。

  早在2017年快手創(chuàng)始人宿華就在一次分享中表示,快手是一家用AI服務用戶的公司,“我2006 年時加入谷歌,做AI 相關工作已經(jīng)10 年時間。當年和谷歌的同事一起研究和應用AI 技術,后來我開始自己創(chuàng)業(yè),也基本都和人工智能相關?!奔热?A href="http://m.huaquanjd.cn/site/CN/Search.aspx?page=1&keywords=%e5%bf%ab%e6%89%8b&column_id=ALL&station=%E5%85%A8%E9%83%A8" target="_blank">快手是一家將AI應用到業(yè)務毛細血管的公司,自然對服務器AI算力要求很高。

  四、總結

  快手在烏蘭察布百億投資、自建自研專注于大數(shù)據(jù)與AI的數(shù)據(jù)中心,既是快手業(yè)務高速發(fā)展的結果,也體現(xiàn)出其謀局未來的野心。短視頻、直播、電商……各項業(yè)務大獲成功后,快手將抓住直播電商、5G、新基建和產(chǎn)業(yè)互聯(lián)網(wǎng)的時代機遇,繼續(xù)高速增長,快手數(shù)據(jù)中心將會進一步“膨脹”。在“記錄與分享生活”的使命下,以AI為基石的快手數(shù)據(jù)中心上的野心比我們看到的更大。

  烏蘭察布,是一個全新的開始。

【加入收藏夾】  【推薦給好友】 
免責聲明:凡本網(wǎng)注明“訊石光通訊咨詢網(wǎng)”的所有作品,版權均屬于光通訊咨詢網(wǎng),未經(jīng)本網(wǎng)授權不得轉載、摘編或利用其它方式使用上述作品。 已經(jīng)本網(wǎng)授權使用作品的,應在授權范圍內(nèi)使用,反上述聲明者,本網(wǎng)將追究其相關法律責任。
※我們誠邀媒體同行合作! 聯(lián)系方式:訊石光通訊咨詢網(wǎng)新聞中心 電話:0755-82960080-168   Right