英偉達電話會：預計下一代芯片B100供不應求，全球數據中心安裝量未來5年翻一番

  ICC訊 黃仁勛認為，整個數據中心行業(yè)正在經歷一次全新的變革。

  他在當地時間周三召開的英偉達財報電話會上表示，AI工廠作為一種新型的數據中心，將數據轉化為極具價值的“代幣”，比如人們在使用ChatGPT、Midjourney等服務中體驗到的東西。

  黃仁勛表示，計算機行業(yè)正同時處于加速計算與生成式AI轉型的開端，這將推動全球數據中心基礎設施安裝量在未來5年內翻一番，創(chuàng)造每年數千億美元的市場機會。

  考慮到廣闊的市場前景，黃仁勛稱，2024年及以后，數據中心業(yè)務持續(xù)增長的條件都非常優(yōu)秀，預計AI Enterprise未來會成為一項非常重要的業(yè)務。

  至于英偉達是否進軍ASIC(專用芯片設計)市場，黃仁勛并沒有做直接回答。

  英偉達CFO Colette Kress則在財報電話會議時表示，雖然當前GPU的供應正在改善，但需求仍然強勁，預計下一代產品的市場需求將超過供給，尤其是預計今年晚些時候發(fā)貨的新一代芯片B100。他表示，“構建和部署AI解決方案已經觸及幾乎每一個行業(yè)”，預計數據中心基礎設施規(guī)模將在五年內翻番。

  當地時間周三公布的財報顯示，英偉達四季度營收同比猛增265%至221億美元，高于分析師預期的204.1億美元，單季度收入甚至高于2021年全年。最大營收來源數據中心部門，四季度營收達到184億美元，同比暴增409%。

  英偉達營收和利潤已連續(xù)三個季度創(chuàng)歷史紀錄，2024全財年營收增長126%。

  以下是英偉達第四季度財報電話會分析師問答全文內容：

  高盛Toshiya Hari：

  我的問題是關于數據中心業(yè)務的，Jensen(黃仁勛)。

  很明顯，你知道你在這個行業(yè)做得非常好。我很好奇你對2024-2025日歷年的數據中心業(yè)務的預期，過去三個月內有何變化?。

  希望您能談談數據中心領域中的一些新興方向，比如軟件、主權AI等。我認為您已經非常明確地表達了中長期的問題。

  最近有一篇關于英偉達可能進軍ASIC(專用芯片設計)市場的文章，這有任何可信度嗎?如果是這樣，英偉達在未來幾年內在這個市場上競爭和發(fā)展?

  黃仁勛：

  對于第一個問題。

  我們一次性指引一個季度，但從根本上講，2024-2025年及以后的持續(xù)增長環(huán)境非常好。理由是，我們正處于兩個全行業(yè)轉型的開端，這兩個轉型都是全行業(yè)的。

  第一個是從通用計算到加速計算的轉變，如您所知，通用計算開始失去動力。你可以從云服務提供商(CSP)的擴張和許多數據中心中看出，包括我們自己的通用計算中心，它可以將折舊從四年延長到六年。但當它不能像以前那樣從根本上顯著提高其數據處理量時，就沒有理由使用更多CPU進行更新，因此必須加速一切。

  這是英偉達一直在開創(chuàng)的。加速計算可以顯著提高LNG 效率，可以將數據處理成本下降20倍，這是一個巨大的數字。當然，還有速度。

  這種速度令人難以置信，以至于我們今天實現了第二次全行業(yè)的轉型，稱為生成式AI。

  是的，我們可以，我相信我們會在通話中談論很多，但請記住，生成式AI是一種新的應用。它正在賦能一種新的軟件生成方式，新類型的軟件正在被創(chuàng)建。這是一種新的計算方式。您可以在傳統(tǒng)的通用計算設備上進行生成式AI的任務。這一過程必須得到加速。

  第三，它正在賦能一個全新的行業(yè)，這是值得退一步審視的事情，與你最后一個關于主權AI的問題有關。

  在某種意義上，整個數據中心行業(yè)正在經歷一次全新的變革。傳統(tǒng)上的數據中心僅僅被用來計算數據、存儲數據、為公司員工提供服務，現在，我們有了一種新型的數據中心，它專注于AI生成。我曾把它描述為AI工廠，本質上利用原材料，也就是數據，用英偉達生產的這些AI超級計算機來改造數據，將其轉化為極具價值的“代幣”。

  這些“代幣”就是人們在震撼的ChatGPT、Midjourney或者現在搜索等服務中體驗到的東西，所有這些推薦系統(tǒng)現在都由此增強。

  與此相關的所有超個性化服務，這些不可思議的初創(chuàng)公司，生成蛋白質、化學物質的數字生物學等等，所有這些“代幣”都是在一種非常專業(yè)化的數據中心內生成的。我們稱這種數據中心為AI超級計算機和AI生成工廠。

  但是我們看到的是多樣性，我們在這一方面取得了許多進步。第一，我們做的推理量已經飆升，幾乎每一次你和ChatGPT互動，我們都在做推理，每次你使用Midjourney時，我們也在做推理。每次你看到這些令人驚嘆的生成視頻，或者Runway、Firefly編輯的視頻，英偉達都在做推理，我們的推理業(yè)務擴張巨大，大約在40%左右。

  訓練量正在繼續(xù)增加，因為這些模型變得越來越大，推理量也在增長，但我們也正在多樣化進入新的行業(yè)。大型CSP仍在繼續(xù)擴張。你可以從他們的資本支出和討論中看出來。企業(yè)軟件平臺正在部署AI服務，Adobe就是一個很好的例子，還有SAP和其他公司。

  還有，消費者互聯網服務現在正在通過生成式AI來增強他們所有的服務，以創(chuàng)建更多超個性化的內容。

  我們在談論工業(yè)化的生成式AI。總的來說，以汽車、金融服務和醫(yī)療保健為的首垂直行業(yè)，現在已經達到了數十億美元的規(guī)模。

  當然，還有主權AI。

  提出主權AI的原因是每個地區(qū)的語言、知識、歷史和文化不同，他們擁有自己的數據。

  他們想要利用自己的數據，數據訓練AI模型，開發(fā)數字化智能服務，創(chuàng)造屬于自己的AI體系。世界各地的數據都不一樣。

  因為這些數據對本國最有價值，因此各國會保護本國的數據，自己處理數據，自己開發(fā)、提供AI服務，而不是依賴外部AI系統(tǒng)。

  所以我們看到，日本、加拿大、法國、我和許多其他地區(qū)正在建設主權AI基礎設施。因此，我的期望是，美國西部的經驗，肯定會在世界各地復制。未來這些AI代工廠將遍布每個行業(yè)、每個公司、每個地區(qū)。

  所以我認為，生成式AI已經在去年真正成為一個全新的應用空間，一種全新的計算方式。一個全新的產業(yè)正在形成，這推動了我們的增長。

  摩根士丹利分析師Joe Moore：

  40%的收入來自推理業(yè)務，這比我預期的要大。這個比例一年前大概是什么水平，大模型相關的推理業(yè)務增長了多少?英偉達是如何測量這一比例的?是否可靠?因為我假設在某些情況下，同一塊GPU既可以用來訓練也能夠用來推理。

  黃仁勛：

  我倒過來說，這個比例可能被低估了。讓我告訴你為什么。一年前，當人們使用互聯網、瀏覽新聞、觀看視頻、聽音樂、查看推薦產品時，面對的是數萬億的數據，而假設你的手機只有三英寸，要將所有這些信息整合到如此小的空間中，需要強大的推薦系統(tǒng)。

  這些推薦系統(tǒng)過去全部基于CPU，但在最近轉向了深度學習和生成式AI，這些推薦系統(tǒng)直接受益于GPU的加速。

  它需要GPU來加速嵌入、近鄰搜索、重新排名，以及生成個性化推薦信息，所以現在的推薦系統(tǒng)運行的每一步都需要GPU。如你所知，推薦系統(tǒng)是這個星球上最大的軟件引擎。世界上幾乎所有主要公司都需要運行這些大型推薦系統(tǒng)。

  每當你使用ChatGPT就是在推斷，每當你聽到中途和他們?yōu)橄M者產生的東西的數量。當你看到Getty時，我們用Getty和來自Adobe的Firefly所做的工作，這些都是生成模型。列表還在繼續(xù)。這些我一年前提到的都不存在，都是100%新的。

  每當你使用ChatGPT時就是在做推理，Midjourney也是一樣。我們與Getty、Adobe、Firefly等的合作，以及這些應用生成式模型，這些還在不斷增加。我剛才提到的所有這些，一年前都不存在，100%都是新的。

  Bernstein Research分析師Stacy Rasgon：

  你們預計下一代產品會面臨供不應求，我想深入了解這方面的情況，導致下一代產品供應緊張的原因是什么?既然GPU供應正在放松，為什么下一代產品還會出現供不應求的局面。

  你預計這種限制會持續(xù)多久?是否意味著整個2025年日歷年，下一代產品都會出現供應短缺。

  黃仁勛：

  總的來說，我們的供應正在改善。我們的供應鏈做得非常出色，從晶圓，封裝，存儲，所有的電源調節(jié)器，到收發(fā)器、網絡、電纜等我們所用到的組件，供應都在改善。。如您所知，人們認為英偉達GPU只是一塊芯片，但英偉達Hopper GPU由35000個零件組成，重70磅。這些東西是我們制造的非常復雜的東西，人們稱之為AI超級計算機是有充分理由的。如果你看看數據中心的后面，系統(tǒng)，布線令人難以置信。它是世界上最密集、最復雜的網絡布線系統(tǒng)。

  我們的InfiniBand業(yè)務同比增長了5倍。供應鏈為我們提供了很大支持。所以總體來說，供應正在改善。我們預計需求仍會大于供給，我們會全力以赴。制程周期正在縮短，我們會繼續(xù)努力。

  然而，正如你所知，每當我們開發(fā)新產品時，它就會從零上升到非常大的數字，這不可能在一夜之間完成。一切都在加速，但它不會。因此，當我們開發(fā)出新一代產品后，無法在短期內完全滿足需求，現在我們正在增加H200的供應。

  我們也在擴大構建Spectrum-X平臺。這是我們進入以太網世界的全新產品，目前已取得非常好的進展。InfiniBand是AI專用系統(tǒng)的標準，我們在以太網的基礎新功能之上進行了增強，如自適應路由、擁塞控制、噪聲隔離或流量隔離，以便我們可以針對AI優(yōu)化以太網。因此，InfiniBand將是我們AI專用基礎設施。Spectrum-X將是我們AI優(yōu)化的網絡，而且正在加速。

  所以，需求大于供應，這就是新產品通常會面臨的問題。我們盡可能快地工作，以滿足需求。但總的來說，我們的供應正在非常順利地增加。

  TDCowen分析師Matt Ramsey：

  下午好，Jason，我的問題由兩部分組成，涉及到Stacy剛剛提到的供不應求的問題。首先是，貴公司如何考慮產品分配以滿足客戶的需求，以及是否監(jiān)控產品庫存情況避免庫存積累。

  然后我想，Jason，我真的很想聽聽你和英偉達在客戶之間分配產品的想法，許多客戶競相搶奪芯片，從行業(yè)到小型初創(chuàng)公司，從醫(yī)療保健領域到政府。這是一項非常獨特的技術活，你正在推動它，我非常想聽聽你如何思考如何公平分配，才能在保障公司利益的同時兼顧整個行業(yè)利益。

  黃仁勛：

  首先回答你關于我們如何與客戶合作搭建GPU實例以及我們的分配流程的問題。

  我們合作的客戶一直是多年來的長期合作伙伴，我們一直在協(xié)助他們在云端部署以及內部設置。許多服務提供商同時運營多個產品，以滿足終端用戶各種需求以及內部需求。

  當然，他們會提前規(guī)劃新集群所需配置，我們不僅討論當前的Hopper架構，也幫助他們了解下一波產品，聽取他們的興趣和需求。所以他們的采購和構建內容是一個持續(xù)變化的過程。但是我們建立的關系和他們對構建復雜性的理解確實幫助了我們進行分配，并且兩者都有助于我們與他們的溝通。

  首先，我們的CSP對產品路線圖和迭代有非常清晰的了解。我們與他們的透明溝通讓其對產品放置時間和地點很有信心。他們了解產品的時間線和大致供應量。在分配上，我們盡量公平分配，避免不必要分配。如你之前說的，如果數據中心沒準備好，分配沒有任何意義。沒有什么比閑置資源公平分配和避免不必要的分配更困難的了。

  關于你問到的終端市場，我們有一個優(yōu)秀的生態(tài)系統(tǒng)，包括OEM、ODM、CSP和非常重要的終端市場。

  英偉達真正的獨特之處是我們?yōu)楹献骰锇楹涂蛻舸顦?。我們將云服務供應商和代工與醫(yī)療、金融、AI開發(fā)者、大語言模型開發(fā)者、自動駕駛公司、機器人公司等客戶連接。正在出現的各種機器人創(chuàng)業(yè)公司，從倉儲機器人、手術機器人、人形機器人、各種非常有趣的機器人公司、農業(yè)機器人公司

  到外科到人形機器人。所有這些創(chuàng)業(yè)公司和大公司都是構建在我們平臺之上。我們直接支持他們。通常，我們可以通過分配給云服務供應商并同時將客戶引入云服務供應商來實現雙贏。

  獨特的地方在于我們帶來了我們的客戶，我們帶來了我們的合作伙伴、CSP和Oem，我們?yōu)樗麄儙砹丝蛻?。生物公司、醫(yī)療保健公司、金融服務公司、AI開發(fā)商、大型語言模型開發(fā)商、自動駕駛汽車公司、機器人公司。只有一大批機器人公司正在崛起。他們的倉庫機器人、手術機器人、人形機器人、農業(yè)機器人……各種非常有趣的機器人公司，所有這些初創(chuàng)公司都在幫助醫(yī)療保健、金融服務和汽車等領域的大公司在英偉達平臺上工作。我們直接支持他們。通常，我們可以通過分配給CSP并同時將客戶引入CSP來實現雙贏。

  所以這個生態(tài)系統(tǒng)，你說得對，它是充滿活力的，但在它的核心，我們希望公平分配，避免資源浪費，尋找連接合作伙伴和終端用戶的機會，我們一直在尋找這些機會。

  瑞銀分析師Timothy R.Curry：

  非常感謝。我想問一下你們如何將積壓訂單轉化為收入。顯然，您的產品交貨時間已經大大縮短了，但Colette沒有談論庫存購買承諾，但如果我把加上你們獲得的庫存采購承諾和預付支持供應，你知道的，你的供應總和，實際上有點下降。我們應該如何解讀這種下降?是因為交貨時間縮短，英偉達不需要對供應商作出那么大的財務承諾了嗎?還是英偉達正在接近填補訂單和積壓訂單的平衡狀態(tài)?

  Colette Kress：

  是的，讓我強調一下我們對供應的三個不同方面的看法。你說得對，我們手頭的庫存，考慮到我們正在進行的分配，我們正在努力，因為貨品入庫后立即發(fā)給客戶。我認為客戶會贊賞我們滿足他們需要的交貨時間表的能力。

  其次，我們的購買承諾有很多不同組成部分，不僅包括我們生產所需的組件，也包括我們滿足產能所需的組件，需求時間長度不一，其中一些可能會持續(xù)兩個季度，但其中一些可能會持續(xù)多年。

  預付款也是一樣，它們都是為了確保我們在幾家供應商那里獲得未來所需的備用產能。

  所以不應該過分解讀這些大致相同的數字，因為我們正在提高供應量。所有這些都有不同的時間跨度，因為我們有時不得不提前很長時間購買東西或為我們建立產能。

  Melius Research分析師Ben Reitzes：

  好的，謝謝。恭喜取得了如此亮眼的成績。Colette，我想談談你對于毛利率的看法，它們回到了75%左右的水平，這是因為新產品中HBM內存含量嗎?您認為還有其他原因嗎?非常感謝。

  Colette Kress：

  是的，感謝您的問題。正如我們在開場白中強調的，我們第四季度的業(yè)績和第一季度的展望都比較特殊。這兩個季度的毛利率也都是獨特的，因為它們都受益于供應鏈中的組件成本，這種益處覆蓋了我們的計算和網絡產品，以及制造過程的多個階段。

  展望未來，我們預測本財年的毛利率將回歸到75%左右的水平，回到我們在第四季度和第一季度峰值之前的水平。所以真正驅動未來全年的毛利率的是我們產品組合，這將是最重要的驅動因素。這些就是驅動毛利率的主要因素。

  Cantra Fitzgerald分析師CJ Muse：

  下午好，Jason，GPU算力在過去十年提升了100萬倍，面對這種飛速提升，英偉達客戶如何看待他們今天所做的英偉達投資的長期可用性。今天用于訓練的系統(tǒng)未來是否還可以用于推理。你認為這會如何發(fā)展?

  黃仁勛：

  謝謝你的問題。是的，真正酷的地方在于，我們能夠極大地提升性能，那是因為我們的平臺有兩大特點：一是加速的能力，二是可編程性。

  英偉達是唯一一個從最初就始終如一的架構，從最開始的卷積神經網絡，Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton首次提出的AlexNet，到RNN、LSTM、RLS，再到Transformers，比如Vision Transformers、Multi-modality Transformers 等，每一個AI的變種模型，我們都能支持它們，優(yōu)化我們的堆棧，并將其部署到我們安裝的用戶設備基礎上。

  這真的是最了不起的地方。一方面，我們可以發(fā)明新的架構和技術，像我們的Tensor Core(張量核心)，張量核心轉換引擎，改進數據格式和處理結構，就像在Tensor Core中所做的工作那樣。

  同時，我們也支持原有的安裝基礎。因此，我們的所有新軟件算法創(chuàng)新，以及行業(yè)的所有新模型創(chuàng)新，都可以在一個基礎上運行。另一方面，當我們看到革命性的東西，例如轉換器，我們可以創(chuàng)建全新的東西，像Hopper轉換引擎，并在未來進行應用。

  因此，我們同時擁有將軟件引入安裝基礎并不斷改進的能力，因此隨著時間的推移，我們的客戶安裝基礎隨著我們的新軟件而豐富。另一方面，新技術創(chuàng)造了革命性的能力。

  如果未來一代在LLM上出現突破，不要感到驚訝。這些突破，其中一些是軟件方面的，因為它們運行在CUDA平臺上，提供給安裝基礎。所以我們帶著所有人一起前進。一方面，我們取得巨大突破;另一方面，我們支持原有基礎。

  Piper Sandler分析師Harsh Kumar：

  我想談談英偉達的軟件業(yè)務，很高興聽到它的營收超過10億美元。但我希望，Jensen或Collatif，幫助我們稍微拆解一下，以便我們更好地了解該業(yè)務的增長源。

  黃仁勛：

  讓我退后一步解釋，英偉達在軟件中非常成功的根本原因。

  首先，你知道，加速計算真正在云端蓬勃發(fā)展。CSP有非常大的工程團隊， 我們與他們合作的方式允許他們運營和管理自己的業(yè)務。。如果有任何問題，我們會派出大型團隊為他們服務。他們的工程團隊直接與我們的工程團隊對接，改進、修復、維護、修復復雜的加速計算軟件棧。

  加速計算和通用計算截然不同，并不是從C++這樣的程序開始，編譯后在所有CPU上運行。從數據處理、結構化數據與所有圖像、文本、PDF這樣的非結構化數據，到經典機器學習、計算機視覺、語音、大語言模型，再到所有推薦系統(tǒng)，每個領域都需要不同的軟件棧。這就是為什么英偉達有數百個軟件庫的原因。沒有軟件就無法開拓新市場，無法啟用新的應用。軟件對加速計算來說是基礎。

  如您所知，加速計算與通用計算非常不同。你不是從C++這樣的程序開始的。你編譯它，一切都在你的所有CPU上運行。每個領域所需的軟件堆棧從數據處理、SQL數據庫、結構數據與所有圖像、文本和PDF(非結構化)到經典機器學習、計算機視覺、語音、兩個大型語言模型、所有推薦系統(tǒng)，所有這些都需要不同的軟件堆棧。

  這就是英偉達擁有數百個庫的原因。如果你沒有軟件，你就無法打開新市場。如果您沒有軟件，則無法打開和啟用新應用程序。軟件對于加速計算至關重要。

  這是加速計算和通用計算之間的根本區(qū)別，大多數人花了很長時間才理解，現在人們明白，軟件在我們與CSP合作的方式中非常關鍵。這非常簡單，我們的大型團隊正在與他們的大型團隊合作。然而，現在生成式AI使每個企業(yè)和企業(yè)軟件公司都能擁抱加速計算，擁抱加速計算現在是必需的，僅僅依靠通用計算提高處理量已不再可行。所有這些企業(yè)軟件公司和企業(yè)公司都沒有大型工程團隊來維護和優(yōu)化他們的軟件堆棧，以在全球所有云和私有云以及本地運行。

  因此，我們將對他們所有的軟件堆棧進行管理、優(yōu)化、修補、調整，優(yōu)化安裝基礎。我們將它們容器化到我們的堆棧中，我們稱之為英偉達AIEnterprise。我們將其推向市場的方式是將英偉達AIEnterprise視為運行時，就像操作系統(tǒng)一樣。這是一個人工智能操作系統(tǒng)。我們每年對每個GPU收取4500美元。我的猜測是，世界上的每一家企業(yè)，每一家在所有云和私有云中部署軟件的軟件企業(yè)公司。首先，我們將在英偉達AI企業(yè)上運行，尤其是，你知道，顯然是為了我們的GPU。因此，隨著時間的推移，這可能會成為一項非常重要的業(yè)務。我們有一個很好的開始。Collette提到它已經以10億美元的速度增長，我們才剛剛開始。

  黃仁勛閉會總結：

  計算機行業(yè)正在同時向兩個方向轉變 (加速計算與生成式 AI)。

  價值數萬億美元的數據中心安裝基礎正在從通用計算轉向加速計算。每個數據中心都將得到加速，使世界能夠在提高處理量來滿足計算需求的同時，管理成本和能源。英偉達實現了令人難以置信的加速，它實現了一種全新的計算范式，即生成式 AI，其中軟件可以學習、理解和生成從人類語言到生物結構和 3D 世界的任何信息。

  我們現在正處于一個新興行業(yè)的開端，專用AI數據中心處理大量原始數據以將其提煉成數字智能，就像上一場工業(yè)革命的交流發(fā)電廠。英偉達AI超級計算機實際上是這場工業(yè)革命的AI生成工廠。

  每個公司和每個行業(yè)從根本上來說都是建立在其專有的商業(yè)智能之上，在未來，他們專有的生成式AI啟動了一個全新的投資周期，以構建下一個萬億美元的AI生成工廠基礎設施。

  我們相信，這兩大趨勢將推動未來 5 年內使全球數據中心基礎設施安裝量翻一番，每年創(chuàng)造數千億美元的市場機會。這種新的人工智能基礎設施將開辟一個今天不可能實現的全新應用世界。

  我們與超大規(guī)模云提供商和消費者互聯網公司一起開啟了人工智能之旅。現在，從汽車、醫(yī)療保健、金融服務到工業(yè)電信、媒體和娛樂，每個行業(yè)都參與其中。英偉達的全棧計算平臺具有特定行業(yè)的應用框架以及龐大的開發(fā)者和合作伙伴生態(tài)系統(tǒng)，為我們提供了速度、規(guī)模和影響力，幫助每個公司、每個行業(yè)的公司成為人工智能公司。

  在下個月于圣何塞舉行的GTC上，我們有很多東西要與您分享，所以請務必加入我們。我們期待向您介紹下季度的最新進展。