成都華陶建材有限公司

   

　　量子位 | 公眾號(hào) QbitAI

　　接近兩個(gè)小時(shí)，黃仁正面回答關(guān)于英偉達(dá)一路在大模型時(shí)代漲到4萬(wàn)億美元市值的勛都種種問(wèn)題。

　　黃仁勛在“硅谷最受歡迎播客”的被問(wèn)全新訪談，信息量有點(diǎn)高。毛頂

　　視頻發(fā)布半天，商去單在油管上的提錯(cuò)觀看量已經(jīng)超過(guò)10萬(wàn)+。

　　網(wǎng)友還銳評(píng)：很少看到黃仁勛這么激動(dòng)。黃仁??

　　太長(zhǎng)不看版，勛都重點(diǎn)筆記放在這里了：

• 輸入是被問(wèn)電子，輸出是毛頂Token，在這中間是商去英偉達(dá)。

• AI不會(huì)使軟件變得廉價(jià)、提錯(cuò)同質(zhì)化，黃仁Agent的勛都普及會(huì)快速提高工具部署率，帶來(lái)更高速的被問(wèn)增長(zhǎng)。

• TPU對(duì)英偉達(dá)沒(méi)有威脅。英偉達(dá)GPU讓新算法的發(fā)明變得容易。

• 英偉達(dá)沒(méi)有更早投資OpenAI等，是“認(rèn)知有誤”，也是“無(wú)可奈何”。

• 英偉達(dá)的哲學(xué)是“必須做的事，但越少越好”。

• 英偉達(dá)從不做加錢就先給GPU的事。

• 即使沒(méi)有深度學(xué)習(xí)，英偉達(dá)依然會(huì)專注加速計(jì)算。

　　更多細(xì)節(jié)，萬(wàn)字實(shí)錄在此奉上（內(nèi)含老黃激烈反駁）。

　　英偉達(dá)的護(hù)城河

　?。úタ椭鞒秩薉warkesh Patel提問(wèn)以下簡(jiǎn)寫為Q）

　　Q：軟件公司正在經(jīng)歷估值暴跌，因?yàn)槿藗冋J(rèn)為AI會(huì)使得軟件變得廉價(jià)。一個(gè)可能顯得天真的觀點(diǎn)是：英偉達(dá)從根本上是在做軟件，而制造由其他人完成。如果軟件變得廉價(jià)，英偉達(dá)會(huì)不會(huì)也失去護(hù)城河？

　　黃仁勛：歸根結(jié)底，必須有某種東西將電子轉(zhuǎn)化為Token。

　　這種從電子到Token的轉(zhuǎn)化，以及時(shí)間讓Token變得更有價(jià)值的過(guò)程，是很難變得同質(zhì)、廉價(jià)的。

　　從電子到Token的旅程是如此不可思議。讓一個(gè)Token比另一個(gè)更有價(jià)值，其中投入的藝術(shù)、工程、科學(xué)和發(fā)明是顯而易見(jiàn)的。我們正在實(shí)時(shí)見(jiàn)證這一過(guò)程，而其中所涉及的一切還遠(yuǎn)未完全被理解，這一旅程遠(yuǎn)未結(jié)束。我其實(shí)對(duì)你所說(shuō)的假設(shè)是否會(huì)發(fā)生持懷疑態(tài)度。

　　當(dāng)然，我們會(huì)讓這一過(guò)程更高效。你提問(wèn)的方式正好是英偉達(dá)運(yùn)營(yíng)的精神模式：輸入是電子，輸出是Token。在這之間就是英偉達(dá)。

　　我們的工作是付出必要的努力，同時(shí)盡可能少地干預(yù)，以實(shí)現(xiàn)這種轉(zhuǎn)化能力的最大化。所謂“盡可能少地干預(yù)”，意味著不是必須要我們做的事，我們就交給合作伙伴，讓其成為生態(tài)系統(tǒng)的一部分。

　　今天的英偉達(dá)擁有最大的合作伙伴生態(tài)系統(tǒng)，包括上下游供應(yīng)鏈、所有的計(jì)算機(jī)公司、應(yīng)用開(kāi)發(fā)者和模型制造者。

　　可以把AI看作一個(gè)五層蛋糕，我們的生態(tài)系統(tǒng)覆蓋了每一層。我們盡可能做更少的事，但事實(shí)證明，我們不得不做的那部分難度異常巨大。我不認(rèn)為這個(gè)部分會(huì)變得同質(zhì)化。

　　實(shí)際上，我也不認(rèn)為軟件公司、工具開(kāi)發(fā)者會(huì)失去護(hù)城河……如今大多數(shù)軟件公司都是工具開(kāi)發(fā)者。例如，Excel是工具，PowerPoint是工具，Cadence制造工具，Synopsys也制造工具。我和大家的看法正好相反，我認(rèn)為Agent的數(shù)量將會(huì)呈指數(shù)增長(zhǎng)，工具的用戶數(shù)量也會(huì)呈指數(shù)增長(zhǎng)。這些工具部署數(shù)量很可能會(huì)激增。

　　今天，我們受限于工程師的數(shù)量。但未來(lái)，會(huì)有大量Agent來(lái)支持工程師，以前所未見(jiàn)的方式去探索設(shè)計(jì)空間，而今天我們所使用的工具并不會(huì)被拋棄。

　　我認(rèn)為工具的普及會(huì)使軟件公司飛速增長(zhǎng)。之所以還沒(méi)有完全發(fā)生，是因?yàn)锳gent在使用這些工具時(shí)還不夠高效。要么這些公司自己會(huì)構(gòu)建Agent，要么Agent會(huì)進(jìn)化到能夠高效使用這些工具。我認(rèn)為兩者會(huì)結(jié)合在一起。

　　Q：在你們最近的申報(bào)文件中，英偉達(dá)在代工廠、內(nèi)存和封裝等方面的采購(gòu)承諾接近1000億美元。SemiAnalysis說(shuō)你們的相關(guān)采購(gòu)承諾實(shí)際上達(dá)到2500億美元。

　　有一種解釋是，英偉達(dá)的護(hù)城河其實(shí)在于你們提前鎖定了這些稀缺組件的供應(yīng)鏈。這是否是英偉達(dá)接下來(lái)幾年間最大的護(hù)城河？

　　黃仁勛：這是我們能做到但別人很難做的事情。

　　我們?cè)谏嫌巫隽司薮蟮某兄Z。有些承諾是顯性的，比如您提到的這些采購(gòu)合同。而有些承諾則是隱性的，例如很多上游的投資是由我們的供應(yīng)鏈合作伙伴推動(dòng)的，因?yàn)槲視?huì)對(duì)這些廠商的CEO說(shuō)：“讓我來(lái)告訴你這個(gè)行業(yè)規(guī)模會(huì)有多大，讓我向你解釋原因，讓我跟你一起推演，并展示我所看到的。”

　　通過(guò)這種方式，我不斷地向不同領(lǐng)域上游產(chǎn)業(yè)的CEO們傳遞信息、激勵(lì)他們并與他們達(dá)成一致。這樣一來(lái)，他們?cè)敢膺M(jìn)行投資。為什么他們?cè)敢鉃槲彝顿Y，而不是其他人？因?yàn)樗麄冎?，我有能力承接他們的供?yīng)，并通過(guò)我的下游銷售出去。

　　事實(shí)是，英偉達(dá)的下游供應(yīng)鏈以及需求規(guī)模非常龐大，他們?cè)敢鉃榇送顿Y。

　　如果你參加過(guò)GTC，你會(huì)對(duì)它的規(guī)模和與會(huì)者數(shù)量感到驚訝。那是一個(gè)完整的360度全景，匯聚了人工智能的整個(gè)宇宙。大家聚在一起，因?yàn)樗麄冃枰舜肆私狻Ｎ野阉麄兙奂谝黄?，讓下游能夠?jiàn)到上游，讓上游能夠見(jiàn)到下游，同時(shí)大家還可以看到人工智能的最新進(jìn)展。最重要的是，他們還可以見(jiàn)到那些人工智能原生公司和初創(chuàng)企業(yè)，并親眼目睹我告訴他們的一切。我把大量時(shí)間用于向我們的供應(yīng)鏈、合作伙伴和生態(tài)系統(tǒng)直接或間接地傳遞有關(guān)未來(lái)機(jī)會(huì)的信息。

　　有人總是說(shuō)：“黃仁勛，你的大多數(shù)主題演講就是一個(gè)接一個(gè)的發(fā)布?！笔聦?shí)上，我的演講中總有一部分很“折磨人”，幾乎像在上課。我是故意的，我需要確保我們的整個(gè)供應(yīng)鏈——無(wú)論是上游還是下游——都了解正在發(fā)生的變化，理解這些變化為什么會(huì)發(fā)生、何時(shí)發(fā)生以及規(guī)模多大，并能像我一樣系統(tǒng)性地推理出來(lái)。

　　回到護(hù)城河的問(wèn)題，我們正為未來(lái)做準(zhǔn)備——如果未來(lái)幾年我們的業(yè)務(wù)規(guī)模達(dá)到一萬(wàn)億美元，我們的供應(yīng)鏈已經(jīng)為此做好了準(zhǔn)備。如果沒(méi)有我們的市場(chǎng)覆蓋率和業(yè)務(wù)驅(qū)動(dòng)力……正如現(xiàn)金流有其流通性一樣，供應(yīng)鏈也存在其流動(dòng)性。如果沒(méi)有足夠頻繁的業(yè)務(wù)流動(dòng)性，就沒(méi)有人會(huì)愿意建立供應(yīng)鏈來(lái)支持架構(gòu)上的擴(kuò)展。我們能夠承受這么大的規(guī)模擴(kuò)展，是因?yàn)槲覀兿掠蔚男枨蠓浅｝嫶?。而大家已?jīng)親眼見(jiàn)證了這一點(diǎn)。這使我們能夠以現(xiàn)在的規(guī)模去完成我們所做的一切。

　　Q：我想更具體地了解上游是否能夠跟上需求。過(guò)去的幾年中，你們的年收入不斷翻倍，你們向全球提供的浮點(diǎn)運(yùn)算能力（flops）增長(zhǎng)更是超過(guò)了三倍。

　　黃仁勛：在現(xiàn)在這種規(guī)模下做到收入翻倍確實(shí)令人難以置信。

　　Q：確實(shí)如此。但當(dāng)我們談到邏輯芯片時(shí)，你們是臺(tái)積電N3節(jié)點(diǎn)的最大客戶，同時(shí)也是N2節(jié)點(diǎn)的主要客戶之一。據(jù)SemiAnalysis預(yù)測(cè)，今年AI將占N3產(chǎn)能的60%，而明年將達(dá)到86%。在這種情況下，如果你們已經(jīng)占據(jù)了多數(shù)產(chǎn)能，怎么繼續(xù)實(shí)現(xiàn)翻倍增長(zhǎng)？現(xiàn)在是不是處于這樣一種狀態(tài)：AI算力的增長(zhǎng)率必須因?yàn)樯嫌味啪?？你們是否看到了繞開(kāi)這個(gè)問(wèn)題的方法？我們?nèi)绾巫尵A廠的產(chǎn)能每年增長(zhǎng)1倍？

　　黃仁勛：從某種程度上來(lái)說(shuō)，瞬時(shí)需求已經(jīng)超過(guò)了全球上游和下游的供應(yīng)總量。在任何時(shí)刻，我們都可能被“水管工”的數(shù)量所限制，這確實(shí)會(huì)發(fā)生。

　　Q：那明年的GTC大會(huì)應(yīng)該邀請(qǐng)水管工們來(lái)參會(huì)（笑）。

　　黃仁勛：這個(gè)主意不錯(cuò)（笑）。但擁有超越行業(yè)供應(yīng)能力的需求是好事。顯然，情況相反的話就不妙了。如果供應(yīng)和需求之間的差距過(guò)大，行業(yè)會(huì)迅速向缺口聚合。例如，你會(huì)發(fā)現(xiàn)，現(xiàn)在幾乎沒(méi)人再談?wù)揅oWoS封裝技術(shù)了。

　　Q：為什么？

　　黃仁勛：原因在于過(guò)去兩年行業(yè)已經(jīng)對(duì)此進(jìn)行了大量投資，其規(guī)模甚至翻倍增長(zhǎng)了幾次。目前我們?cè)谶@方面處于相當(dāng)不錯(cuò)的狀態(tài)。臺(tái)積電現(xiàn)在知道，CoWoS的供應(yīng)能力必須跟上邏輯芯片和內(nèi)存的需求。他們正在把CoWoS和未來(lái)的封裝技術(shù)擴(kuò)展到和邏輯芯片同步發(fā)展的水平。這非常棒，因?yàn)樵?jīng)一段時(shí)間里，CoWoS和HBM內(nèi)存技術(shù)還被視為一種“特種技術(shù)”。但現(xiàn)在它們已經(jīng)成為主流計(jì)算技術(shù)。

　　當(dāng)然，現(xiàn)在我們能夠更廣泛地影響供應(yīng)鏈。AI革命的早期，我就已經(jīng)在說(shuō)我現(xiàn)在說(shuō)的很多話了。當(dāng)時(shí)，有些人相信并為此進(jìn)行了投資，比如美光的桑杰（Sanjay）和他的團(tuán)隊(duì)。我對(duì)那次會(huì)議印象非常深刻，我清晰地闡明了為什么事情會(huì)這樣發(fā)生以及對(duì)未來(lái)的預(yù)測(cè)。而他們真的加倍投入了，與我們?cè)贚PDDR和HBM內(nèi)存領(lǐng)域建立了合作。這無(wú)疑為他們公司帶來(lái)了巨大的發(fā)展。有一些人來(lái)的稍晚，但現(xiàn)在他們也都到場(chǎng)了。

　　我們對(duì)每一個(gè)瓶頸問(wèn)題都給予了極大的關(guān)注?，F(xiàn)在我們?cè)谔崆皫啄觐A(yù)判這些瓶頸。例如，過(guò)去幾年內(nèi)我們與Lumentum、Coherent以及硅光子生態(tài)系統(tǒng)的合作投資，確實(shí)重塑了供應(yīng)鏈。我們圍繞著臺(tái)積電建立了完整的供應(yīng)鏈，在COUPE項(xiàng)目上與他們合作，發(fā)明了一堆新技術(shù)，并將專利授權(quán)給供應(yīng)鏈以保持其開(kāi)放性。

　　我們通過(guò)新技術(shù)、新工作流程、新檢測(cè)設(shè)備以及投資，來(lái)幫助合作伙伴擴(kuò)展產(chǎn)能。你可以看到，我們正試圖通過(guò)生態(tài)系統(tǒng)的建構(gòu)，確保供應(yīng)鏈能夠支持這種規(guī)模化的發(fā)展。

　　Q：看起來(lái)有些瓶頸比其他的更容易解決。將CoWoS擴(kuò)展到更大規(guī)?？赡芟鄬?duì)容易——

　　黃仁勛：順便說(shuō)一下，我挑了最難的一個(gè)例子。

　　Q：哪個(gè)？

　　黃仁勛：管道工和電工。

　　這也是我對(duì)某些“末日論者”感到擔(dān)憂的一點(diǎn)，這些人總是在描述工作被終結(jié)，崗位將消失的問(wèn)題。如果我們勸人們不要做軟件工程師，那我們將會(huì)面臨軟件工程師短缺的問(wèn)題。

　　同樣，十年前也有人做過(guò)類似的預(yù)測(cè)，那時(shí)一些悲觀主義者說(shuō)：“無(wú)論你做什么，都不要成為放射科醫(yī)生。”你現(xiàn)在可能還能在網(wǎng)上找到那些說(shuō)放射科醫(yī)生這個(gè)職業(yè)會(huì)首先消失的視頻。但現(xiàn)在發(fā)生了什么？我們恰恰缺少放射科醫(yī)生。

　　Q：回到之前關(guān)于某些瓶頸更容易解決的問(wèn)題。如何每年制造2倍的邏輯芯片？邏輯芯片和內(nèi)存芯片的擴(kuò)展受到極紫外光刻（EUV）的限制。如何做到每年2倍增長(zhǎng)？

　　黃仁勛：這是可以快速擴(kuò)展的。這些都不難，只需要需求信號(hào)。一旦你能夠造一個(gè)，就可以造十個(gè)，接著就可以造一百萬(wàn)個(gè)。所有這些都很容易復(fù)制。

　　Q：你們會(huì)介入多深？會(huì)去和ASML溝通嗎，告訴他們：“看看三年后的需求吧。為了讓英偉達(dá)每年實(shí)現(xiàn)2萬(wàn)億美元的營(yíng)收，我們需要更多EUV光刻機(jī)?！?/p>

　　黃仁勛：有些我得直接開(kāi)口，有些則是間接實(shí)現(xiàn)的。比如我說(shuō)服了臺(tái)積電，ASML自然會(huì)被說(shuō)服。關(guān)鍵是我們必須考慮關(guān)鍵瓶頸。但只要臺(tái)積電被說(shuō)服了，幾年內(nèi)你就會(huì)看到足夠的EUV設(shè)備。

　　我的觀點(diǎn)是，沒(méi)有哪個(gè)瓶頸會(huì)持續(xù)超過(guò)兩三年。

　　與此同時(shí)，我們?cè)谔嵘?jì)算效率方面也在取得巨大進(jìn)步。例如，Hopper到Blackwell架構(gòu)的效率提升達(dá)到30-50倍。因?yàn)镃UDA的靈活性，我們能夠開(kāi)發(fā)出全新的算法。此外，我們?cè)谔岣哂?jì)算效率的同時(shí)也在增加產(chǎn)能。這些問(wèn)題對(duì)我來(lái)說(shuō)都沒(méi)有那么值得擔(dān)心。真正帶來(lái)風(fēng)險(xiǎn)的是下游問(wèn)題，比如限制能源擴(kuò)展的政策。沒(méi)有能源，你不可能建立一個(gè)工業(yè)；沒(méi)有能源，你不可能建立一家新的制造企業(yè)。

　　我們要重塑美國(guó)的工業(yè)。我們希望帶回芯片制造、計(jì)算機(jī)制造和封裝工藝；我們希望建造新的東西，比如電動(dòng)車、機(jī)器人；我們希望建造AI工廠。但你無(wú)法在沒(méi)有能源的情況下完成這些，并且這些問(wèn)題都需要很長(zhǎng)時(shí)間去解決。相比之下，芯片產(chǎn)能的問(wèn)題只需要2-3年即可解決。CoWoS產(chǎn)能擴(kuò)展也是2-3年的事。

　　Q：很有趣。我覺(jué)得我邀請(qǐng)的嘉賓有時(shí)會(huì)表達(dá)完全相反的觀點(diǎn)。在這種情況下，我欠缺技術(shù)知識(shí)來(lái)判斷。

　　黃仁勛：好消息是你現(xiàn)在在和一位專家交談（笑）。

　　TPU沒(méi)有威脅，英偉達(dá)在“重新定義計(jì)算方式”

　　Q：我有一個(gè)關(guān)于競(jìng)爭(zhēng)對(duì)手的問(wèn)題。世界上排名前三的AI模型中有兩個(gè)——Claude和Gemini，都是在TPU上訓(xùn)練的。這對(duì)英偉達(dá)未來(lái)意味著什么？

　　黃仁勛：我們構(gòu)建的東西與TPU非常不同。

　　英偉達(dá)構(gòu)建的是加速計(jì)算（Accelerated Computing），而不是僅僅一個(gè)張量處理單元（TPU）。

　　加速計(jì)算可以用于各種用途：分子動(dòng)力學(xué)、量子色動(dòng)力學(xué)、數(shù)據(jù)處理、數(shù)據(jù)框架、結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。它還用于流體動(dòng)力學(xué)和粒子物理學(xué)。此外，我們也用它進(jìn)行AI計(jì)算。

　　加速計(jì)算更加多樣化。盡管今天大家都在談?wù)揂I，并且AI的確非常重要且具有深遠(yuǎn)影響，但計(jì)算的范圍遠(yuǎn)比這更廣泛。

　　英偉達(dá)重新定義了計(jì)算的方式，從通用計(jì)算過(guò)渡到加速計(jì)算。我們的市場(chǎng)覆蓋范圍遠(yuǎn)遠(yuǎn)大于任何TPU或ASIC（應(yīng)用專用集成電路）能夠達(dá)到的水平。我們是唯一一家能夠加速各種應(yīng)用的公司。我們擁有一個(gè)龐大的生態(tài)系統(tǒng)，所以各種框架和算法都能在英偉達(dá)的平臺(tái)上運(yùn)行。

　　另外，大多數(shù)自建系統(tǒng)都不是為方便他人操作而設(shè)計(jì)的。我們的系統(tǒng)之所以無(wú)處不在，包括在Google、Amazon、Azure和OCI（Oracle云基礎(chǔ)設(shè)施）上，是因?yàn)槿魏稳硕伎梢允褂梦覀兊南到y(tǒng)進(jìn)行操作。

　　如果你想通過(guò)租賃方式運(yùn)營(yíng)這些計(jì)算能力，你最好有大規(guī)模的、多行業(yè)的客戶生態(tài)系統(tǒng)來(lái)消化這些資源。如果你想自用，我們顯然也可以幫助你操作這些計(jì)算系統(tǒng)，比如我們?yōu)镋lon Musk的xAI提供支持。而由于我們能夠支持任何公司和任何行業(yè)的運(yùn)營(yíng)商，你可以將它用于打造專門用于科學(xué)研究和藥物發(fā)現(xiàn)的超級(jí)計(jì)算機(jī)，比如Eli Lilly。我們可以幫助他們操作自己的超級(jí)計(jì)算機(jī)，用來(lái)加速藥物發(fā)現(xiàn)和生物科學(xué)的整個(gè)多樣化流程。

　　有大量應(yīng)用場(chǎng)景是TPU無(wú)法覆蓋的。英偉達(dá)把CUDA打造成一個(gè)出色的張量處理單元，但它也能處理數(shù)據(jù)處理、計(jì)算、AI等的整個(gè)生命周期。我們的市場(chǎng)機(jī)會(huì)更廣，覆蓋面更大。因?yàn)槲覀冎С质澜缟纤蓄愋偷膽?yīng)用，你可以在任何地方建立英偉達(dá)系統(tǒng)，并確信它會(huì)有客戶需求。這是一個(gè)完全不同的概念。

　　Q：接下來(lái)是一個(gè)長(zhǎng)問(wèn)題。你們的營(yíng)收非常驚人，而這些錢并不是來(lái)自制藥或者量子計(jì)算領(lǐng)域。之所以能有每季度600億美元的收入，是因?yàn)锳I是一種史無(wú)前例的技術(shù)，其增長(zhǎng)速度也同樣前所未有。

　　所以問(wèn)題是，對(duì)于人工智能而言，究竟什么才是最合適的選擇？我對(duì)細(xì)節(jié)不熟，但和我的AI研究員朋友交流時(shí)，他們說(shuō)：“看看TPU吧，它是一個(gè)大型的行列式陣列，非常適合執(zhí)行矩陣乘法，而GPU則非常靈活。GPU在有大量分支或非規(guī)則內(nèi)存訪問(wèn)時(shí)表現(xiàn)優(yōu)異?！?/p>

　　但AI本質(zhì)是什么？它只是一次又一次地進(jìn)行可預(yù)測(cè)的矩陣乘法。你不需要為warp調(diào)度器或線程和內(nèi)存組之間的切換浪費(fèi)任何芯片面積。而TPU確實(shí)針對(duì)當(dāng)下AI計(jì)算的主要增長(zhǎng)需求和用例進(jìn)行了優(yōu)化。我想知道你對(duì)此有何回應(yīng)。

　　黃仁勛：矩陣乘法確實(shí)是AI的重要部分，但它并不是全部。如果你想開(kāi)發(fā)一種新的注意力機(jī)制，以不同方式解耦，或者發(fā)明一種全新的架構(gòu)，比如混合SSM（狀態(tài)空間模型），你就需要一個(gè)通用可編程的架構(gòu)。如果你想構(gòu)建一個(gè)融合擴(kuò)散模型和自回歸模型，你也需要一個(gè)通用可編程的架構(gòu)。我們可以運(yùn)行你能想象到的一切。這是我們的優(yōu)勢(shì)：我們的架構(gòu)讓新算法的發(fā)明變得容易，因?yàn)樗且粋€(gè)可編程的系統(tǒng)。

　　發(fā)明新算法的能力正是推動(dòng)AI快速進(jìn)步的真正原因。像TPU這樣的設(shè)備同樣受到摩爾定律的限制，增速約為每年25%。而唯一能實(shí)現(xiàn)10倍或100倍躍升的方法，就是從根本上改變算法和計(jì)算方式。

　　這是英偉達(dá)的核心優(yōu)勢(shì)。我們之所以能實(shí)現(xiàn)從Hopper到Blackwell 50倍的性能改進(jìn)……當(dāng)我第一次宣布Blackwell比Hopper的能效高出35倍時(shí)，沒(méi)有人相信。后來(lái)Dylan寫了一篇文章指出我其實(shí)“故意保守”了，實(shí)際是50倍。這根本不可能僅僅依賴摩爾定律來(lái)實(shí)現(xiàn)。我們解決這個(gè)問(wèn)題的方法是通過(guò)新模型，比如MoE，在計(jì)算系統(tǒng)中并行化、解耦并分布式實(shí)現(xiàn)。沒(méi)有CUDA的支持，要開(kāi)發(fā)這樣的新內(nèi)核幾乎是不可能的。

　　我們的優(yōu)勢(shì)在于，英偉達(dá)的架構(gòu)具備編程靈活性，同時(shí)我們也是一家極具協(xié)同設(shè)計(jì)能力的公司。我們甚至可以將一些計(jì)算卸載到計(jì)算架構(gòu)中，比如NVLink；或者集成到網(wǎng)絡(luò)中，比如Spectrum-X。我們能夠同時(shí)影響處理器、系統(tǒng)、架構(gòu)、庫(kù)和算法的各個(gè)環(huán)節(jié)。如果沒(méi)有CUDA，我甚至不知道該從哪開(kāi)始開(kāi)發(fā)。

　　Q：這涉及到一個(gè)有趣的問(wèn)題，即關(guān)于英偉達(dá)客戶群的特點(diǎn)。目前，你們60%的收入來(lái)源于五大超級(jí)云服務(wù)商。在一個(gè)不同的時(shí)代，面對(duì)不同的客戶——比如做實(shí)驗(yàn)的教授們，他們需要的是CUDA。他們無(wú)法使用其他加速器，只需要運(yùn)行配備CUDA的PyTorch，并確保一切都可以順利被優(yōu)化。

　　但這些超級(jí)云服務(wù)商有足夠的資源來(lái)編寫自己的內(nèi)核。實(shí)際上，為了獲取他們特定架構(gòu)所需的最后那5%的性能，他們必須這樣做。Anthropic和Google已經(jīng)轉(zhuǎn)向他們自己的加速器，比如TPUs和Trainium。即使是使用英偉達(dá)GPU的OpenAI，也開(kāi)發(fā)了像Triton這樣的工具，因?yàn)樗麄冃枰约旱膬?nèi)核。從CUDA C++到cuBLAS和NCCL，他們擁有一個(gè)完整的獨(dú)立棧，并且能夠編譯到其他加速器上。

　　在大多數(shù)客戶可以并實(shí)際在構(gòu)建CUDA替代品的情況下，CUDA是否仍然是讓前沿AI領(lǐng)域依然選擇英偉達(dá)的關(guān)鍵？

　　黃仁勛：CUDA是一個(gè)豐富的生態(tài)系統(tǒng)。如果你想在任何計(jì)算機(jī)上開(kāi)發(fā)軟件，首先選擇CUDA絕對(duì)是聰明的選擇。因?yàn)樯鷳B(tài)系統(tǒng)如此豐富，我們支持每一個(gè)開(kāi)發(fā)框架。如果你想創(chuàng)建自定義內(nèi)核…… 比如我們對(duì)Triton有巨大貢獻(xiàn)。Triton的后端包含了大量英偉達(dá)的技術(shù)。

　　我們非常樂(lè)意幫助每個(gè)框架變得盡善盡美。市面上有很多很多框架，比如Triton、vLLM、SGLang，以及更多新興的強(qiáng)化學(xué)習(xí)框架，比如verl和NeMo RL。關(guān)于后訓(xùn)練和強(qiáng)化學(xué)習(xí)，這片領(lǐng)域正在快速爆發(fā)式增長(zhǎng)。所以如果要在一個(gè)架構(gòu)上構(gòu)建，基于CUDA是最明智的選擇，因?yàn)槟阒肋@個(gè)生態(tài)系統(tǒng)是強(qiáng)大且靠譜的。

　　你會(huì)知道如果出了問(wèn)題，大概率是在你的代碼中，而不是在底層那一大堆代碼里。別忘了，當(dāng)你在構(gòu)建這些系統(tǒng)時(shí)，要面對(duì)的代碼量是巨大的。當(dāng)某些東西無(wú)法工作時(shí)，是你出問(wèn)題了，還是計(jì)算機(jī)有問(wèn)題？你會(huì)希望始終是你出錯(cuò)了，并且相信計(jì)算機(jī)的健壯性。當(dāng)然，我們自己的系統(tǒng)也有問(wèn)題，但它已經(jīng)過(guò)深度的優(yōu)化，你至少可以在這個(gè)可靠的基礎(chǔ)上構(gòu)建。這是第一點(diǎn)：生態(tài)系統(tǒng)的豐富性、可編程性和能力。

　　其次，如果你是一個(gè)開(kāi)發(fā)人員，在構(gòu)建任何東西時(shí)，最重要的事情就是安裝基礎(chǔ)。你希望自己開(kāi)發(fā)的軟件能運(yùn)行在很多其他計(jì)算機(jī)上。你開(kāi)發(fā)的軟件不僅僅是為自己構(gòu)建的，還要給自己的團(tuán)隊(duì)甚至其他團(tuán)隊(duì)使用。如果你是一位框架開(kāi)發(fā)者，英偉達(dá)的CUDA生態(tài)系統(tǒng)就是一個(gè)無(wú)價(jià)的硬件與軟件寶庫(kù)。

　　世界上部署了數(shù)億英偉達(dá)GPU，每個(gè)云平臺(tái)上都有它。A10、A100、H100、H200，各種L系列及P系列設(shè)備，種類繁多，形態(tài)各異。我們基本上無(wú)處不在。這種龐大的安裝基礎(chǔ)意味著，一旦開(kāi)發(fā)完成，你的軟件或模型就能在世界上任何地方運(yùn)行，這種價(jià)值是不可估量的。

　　最后，我們?cè)谠破脚_(tái)上的普及率也讓我們真正獨(dú)一無(wú)二。如果你是AI公司或開(kāi)發(fā)人員，不確定將與哪家云服務(wù)供應(yīng)商合作，或者不確定在何處運(yùn)行系統(tǒng)，英偉達(dá)的系統(tǒng)可以覆蓋所有地方——包括直接在你們公司內(nèi)部運(yùn)行。這種生態(tài)系統(tǒng)的豐富性、安裝基礎(chǔ)的廣泛性，加之靈活的部署模式，使得CUDA不可替代。

　　Q：這確實(shí)有道理。我感興趣的是，這些優(yōu)勢(shì)對(duì)你們主要的客戶來(lái)說(shuō)是否依然顯得那么重要。對(duì)于大部分產(chǎn)業(yè)中的用戶，這可能非常重要。但對(duì)于實(shí)際上能夠構(gòu)建自己軟件棧的客戶——這類客戶占你們收入的大頭，尤其在一個(gè)AI越來(lái)越強(qiáng)大的世界里……問(wèn)題最終變成了：如果超大規(guī)模的企業(yè)都能編寫自己的內(nèi)核，而不是依賴CUDA，英偉達(dá)還能否維持目前的利潤(rùn)率？

　　黃仁勛：我們公司分配在這些AI實(shí)驗(yàn)室里的工程師數(shù)量是驚人的。

　　我們?yōu)樗麄兂掷m(xù)優(yōu)化他們的軟件棧，原因在于沒(méi)有人比我們更了解自己架構(gòu)的復(fù)雜性與細(xì)節(jié)。

　　這些架構(gòu)不像CPU那么“通用”。CPU就像一輛凱迪拉克，運(yùn)行平穩(wěn)，性能沒(méi)有極端起伏，任何人都能很好地駕駛它。但英偉達(dá)的GPU和加速器更像一級(jí)方程式賽車。我可以想象每個(gè)人都能夠以100英里/小時(shí)的速度駕駛這些GPU，但要真正跑出極限，就需要極高的專業(yè)知識(shí)。我們也使用大量AI來(lái)優(yōu)化我們現(xiàn)有的內(nèi)核庫(kù)。

　　我很確定在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，我們的專業(yè)知識(shí)對(duì)于合作的AI實(shí)驗(yàn)室來(lái)說(shuō)依然不可或缺。我們經(jīng)常能夠讓他們的軟件棧優(yōu)化再優(yōu)化，使性能提升1至2倍。有時(shí)優(yōu)化一個(gè)特定內(nèi)核，性能能直接提升2倍或3倍。這種提升對(duì)于運(yùn)行大量Hopper或Blackwell設(shè)備的客戶來(lái)說(shuō)是非常重要的，因?yàn)樗鼈冎苯釉黾诱麄€(gè)設(shè)施的效率，相應(yīng)地提高客戶的收入。

　　毫無(wú)疑問(wèn)，英偉達(dá)的計(jì)算軟件棧在性能總擁有成本（TCO）方面是世界上最優(yōu)的。沒(méi)有任何單個(gè)平臺(tái)可以提供比我們更高的性能-TCO比例?；鶞?zhǔn)測(cè)試就在那里，我鼓勵(lì)TPU或Trainium使用InferenceMAX、MLPerf來(lái)展示他們所謂驚人的推理成本優(yōu)勢(shì)，但沒(méi)人愿意出來(lái)展示。從第一性原理來(lái)說(shuō)，這根本不合理。

　　我認(rèn)為我們之所以如此成功，原因很簡(jiǎn)單：我們的總擁有成本（TCO）非常出色。

　　其次，你提到我們60%的客戶來(lái)自五大云計(jì)算公司，但是其中大部分業(yè)務(wù)其實(shí)是面向外部客戶的。

　　他們之所以選擇我們，是因?yàn)槲覀儞碛袕?qiáng)大的客群覆蓋能力。我們能為他們帶來(lái)全球最出色的客戶。這些客戶選擇英偉達(dá)，是因?yàn)槲覀兲赜械膹V泛覆蓋與多功能性。

　　我認(rèn)為飛輪效應(yīng)來(lái)自幾個(gè)方面：我們的安裝基礎(chǔ)，我們架構(gòu)的可編程性，我們生態(tài)系統(tǒng)的豐富性，以及大量AI公司的存在。

　　現(xiàn)在有成千上萬(wàn)家AI公司。如果你是這些AI初創(chuàng)公司之一，你會(huì)選擇哪種架構(gòu)？你會(huì)選擇全球最普及的架構(gòu)——那就是我們。你還會(huì)選擇擁有最龐大安裝基礎(chǔ)的架構(gòu)——那也是我們。還有一個(gè)擁有豐富生態(tài)系統(tǒng)的架構(gòu)——這也是英偉達(dá)獨(dú)有的優(yōu)勢(shì)。

　　所以，這就是飛輪所在。我們成功的核心原因包括：

　　第一，性能與成本的優(yōu)勢(shì)。我們的每美元性能非常出色，客戶的成本最低。

　　第二，能效優(yōu)勢(shì)：我們的每瓦性能是全球最高的。如果一家公司建造了一個(gè)1GW的數(shù)據(jù)中心，這個(gè)數(shù)據(jù)中心必須能夠帶來(lái)最大化的收益和盡可能多Tokens，這直接轉(zhuǎn)化為收入。而我們擁有全球每瓦Token最多的架構(gòu)。

　　最后，如果你的目標(biāo)是出租基礎(chǔ)設(shè)施，我們擁有全球最多的客戶。

　　Q：有趣。我認(rèn)為問(wèn)題的關(guān)鍵在于市場(chǎng)結(jié)構(gòu)到底是什么樣的。也許會(huì)存在這樣一個(gè)世界，有成千上萬(wàn)家AI公司，它們的計(jì)算量份額大致相等。但從五大云服務(wù)商的角度看，實(shí)際上使用這些計(jì)算資源的是Anthropic、OpenAI，以及有能力自己構(gòu)建各種加速器的大型基礎(chǔ)模型實(shí)驗(yàn)室。

　　黃仁勛：不，我認(rèn)為你的假設(shè)是錯(cuò)誤的。

　　Q： 也許吧，但讓我問(wèn)你一個(gè)稍微不同的問(wèn)題。

　　黃仁勛：不，讓我糾正你的假設(shè)。

　　Q：好。讓我換個(gè)問(wèn)題問(wèn)你。

　　黃仁勛：但仍要保證讓我糾正這個(gè)假設(shè)。因?yàn)檫@對(duì)AI太重要了，對(duì)科學(xué)的未來(lái)太重要了，對(duì)行業(yè)的未來(lái)也太重要了。這個(gè)假設(shè)……聽(tīng)我說(shuō)——

　　Q： 讓我先完成問(wèn)題，然后我們可以一起探討這個(gè)話題。

　　黃仁勛：好的。

　　Q： 如果關(guān)于價(jià)格、性能和每瓦性能等這些指標(biāo)是真的，那么你怎么看這樣一件事情？比如說(shuō)，Anthropic最近剛剛宣布，他們與博通和谷歌達(dá)成了一份多吉瓦級(jí)別的TPU計(jì)算協(xié)議，他們的大多數(shù)計(jì)算都是通過(guò)TPU完成的。

　　顯然，對(duì)于谷歌來(lái)說(shuō)，TPU提供了主要的計(jì)算資源。而根據(jù)我的觀察，這些大型AI公司，似乎他們的大部分計(jì)算資源……曾經(jīng)是完全依賴英偉達(dá)的，但現(xiàn)在不是了。所以，如果這些參數(shù)數(shù)據(jù)在紙面上都是真的，你怎么看這些公司仍然選擇其他加速器的情況？

　　黃仁勛：Anthropic是一個(gè)特殊案例，不是一個(gè)趨勢(shì)。如果沒(méi)有Anthropic，TPU還會(huì)有增長(zhǎng)嗎？完全靠Anthropic支撐。如果沒(méi)有Anthropic，Trainium會(huì)有增長(zhǎng)嗎？完全也是靠Anthropic。這里不是說(shuō)有大量的ASIC機(jī)會(huì)，而是只有一個(gè)Anthropic。

　　Q： 但是OpenAI和AMD之間的合作……他們正在自研自己的Titan加速器。

　　黃仁勛：是的，但是我們都可以承認(rèn)，OpenAI的主要計(jì)算依然依賴英偉達(dá)。我們?nèi)栽诖罅亢献鳌?/p>

　　我并不介意其他公司嘗試使用不同的東西。如果他們不試試這些產(chǎn)品，他們?cè)趺磿?huì)知道我們的有多好？我們也需要被提醒，必須不斷努力，才能維持我們今天的地位。

　　總是會(huì)有夸大的說(shuō)法。但是，看看過(guò)去被取消的ASIC項(xiàng)目數(shù)量。要做出比英偉達(dá)好的產(chǎn)品并不容易。其實(shí)也并不明智。當(dāng)然英偉達(dá)肯定會(huì)有遺漏的地方，在我們的規(guī)模和速度上，我們是唯一一家每年都在大幅度推動(dòng)技術(shù)躍升的公司——每一年。

　　Q： 我想他們的邏輯可能是：“嘿，這些產(chǎn)品不需要更好，只要不比英偉達(dá)差70%就可以了”，因?yàn)閺哪銈冞@買要支付70%的利潤(rùn)。

　　黃仁勛：別忘了，即使是ASIC，利潤(rùn)率也非常高。假設(shè)英偉達(dá)的利潤(rùn)率是70%，ASIC的利潤(rùn)率也接近65%。你到底省了多少？

　　Q：你是指博通？

　　黃仁勛：是的。你總要給某家公司支付費(fèi)用。從我所了解的數(shù)據(jù)來(lái)看，ASIC的利潤(rùn)率非常高。他們自己也這么認(rèn)為，并且驚人的ASIC利潤(rùn)率感到自豪。

　　很久以前，我們并沒(méi)有能力做這樣的事情。當(dāng)時(shí)，我并沒(méi)有深刻意識(shí)到，建立一個(gè)像OpenAI或Anthropic這樣的基礎(chǔ)AI實(shí)驗(yàn)室是多么困難，他們需要供應(yīng)商做出巨大的投資。我們當(dāng)時(shí)無(wú)法提供數(shù)十億美元的投資讓Anthropic使用我們的計(jì)算資源，但谷歌和AWS可以。他們?cè)谠缙谕度肓司揞~資金，使Anthropic最終使用了他們的計(jì)算資源。而當(dāng)時(shí)我們沒(méi)法做到。

　　我的失誤在于沒(méi)有深刻認(rèn)識(shí)到AI實(shí)驗(yàn)室們別無(wú)選擇，風(fēng)險(xiǎn)投資公司永遠(yuǎn)不會(huì)向一個(gè)實(shí)驗(yàn)室投資50-100億美元。不過(guò)即使我明白這一點(diǎn)，我認(rèn)為當(dāng)時(shí)我們也無(wú)法做到。好在我不會(huì)再犯同樣的錯(cuò)誤了。

　　我很高興能投資OpenAI，并幫助他們擴(kuò)展。我也很高興后來(lái)Anthropic找到我們時(shí)，我們能夠投資支持他們。過(guò)去我們做不到，如果能重來(lái)——如果當(dāng)時(shí)的英偉達(dá)有我們今天的規(guī)?！覍⑹謽?lè)意這么做。

　　英偉達(dá)為什么不做超級(jí)云服務(wù)商？

　　Q：這確實(shí)很有意思。多年來(lái)，英偉達(dá)一直是AI領(lǐng)域賺錢最多的公司?，F(xiàn)在你們?cè)谶M(jìn)行投資，據(jù)報(bào)道，你們已經(jīng)向OpenAI投資了高達(dá)300億美元，向Anthropic投資了100億美元。而現(xiàn)在，他們的估值已經(jīng)顯著增長(zhǎng)，我相信它們還會(huì)繼續(xù)增長(zhǎng)。

　　所以，在這些年里，你們一直為這些公司提供算力，你們能看到它們的發(fā)展方向。幾年前，甚至就在一年以前，他們的估值僅是現(xiàn)在的十分之一，而當(dāng)時(shí)你們手頭有充裕的現(xiàn)金。按理說(shuō)，有一種可能是，英偉達(dá)自己可以打造一個(gè)基礎(chǔ)研究實(shí)驗(yàn)室，進(jìn)行巨額投資讓這一切成為可能，或者在高額估值之前更早完成你們現(xiàn)在所做的交易。我很好奇，為什么不早點(diǎn)做呢？

　　黃仁勛：我們?cè)谀軌蜃龅降臅r(shí)候就馬上做了。如果更早具備條件，我也愿意更早去做。但當(dāng)Anthropic需要我們這么做的時(shí)候，我們并不具備條件。這在當(dāng)時(shí)對(duì)我們來(lái)說(shuō)也不是一個(gè)合理的選擇。

　　Q：為什么？是因?yàn)橘Y金問(wèn)題嗎？

　　黃仁勛：是的，投資規(guī)模的問(wèn)題。那時(shí)我們從未對(duì)外部公司進(jìn)行過(guò)投資，尤其是這么大規(guī)模的投資。當(dāng)時(shí)我們沒(méi)有意識(shí)到這是必要的。我一直認(rèn)為他們可以像其他公司一樣去找風(fēng)投融資。但他們想要實(shí)現(xiàn)的目標(biāo)并不是通過(guò)風(fēng)投就能完成的。OpenAI想要實(shí)現(xiàn)的目標(biāo)也無(wú)法通過(guò)風(fēng)投達(dá)成。我現(xiàn)在認(rèn)識(shí)到了，但當(dāng)時(shí)并不了解。

　　不過(guò)這也是他們的聰明之處。他們?cè)缇鸵庾R(shí)到必須這樣做。我很高興他們當(dāng)時(shí)做出了這樣的選擇。盡管這導(dǎo)致了Anthropic不得不去找別人，但我仍然為他們存在而感到高興。Anthropic的存在對(duì)于世界來(lái)說(shuō)是件好事，我真心為此感到欣喜。

　　Q：當(dāng)然，你們?nèi)匀毁嵙撕芏噱X，而且每個(gè)季度賺得越來(lái)越多。

　　黃仁勛：即便如此，仍然可以有遺憾。

　　Q：那問(wèn)題依舊存在——現(xiàn)在你們手頭有大量資金，并且一直賺更多的錢，你們應(yīng)該用這些資金來(lái)做什么？一個(gè)答案是，一個(gè)中間商生態(tài)系統(tǒng)正在崛起，他們使得這些研究實(shí)驗(yàn)室將資金性開(kāi)支轉(zhuǎn)為運(yùn)營(yíng)性開(kāi)支，以便這些實(shí)驗(yàn)室可以租用計(jì)算資源。芯片非常昂貴，但它們?cè)谏芷趦?nèi)能產(chǎn)生巨大的價(jià)值，因?yàn)锳I模型正變得越來(lái)越強(qiáng)大。英偉達(dá)有足夠的資金來(lái)承擔(dān)這樣的資本性開(kāi)支。實(shí)際上，據(jù)報(bào)道，你們?yōu)镃oreWeave提供了多達(dá)63億美元的支持，并向其投資了20億美元。

　　那么，為什么英偉達(dá)不自己成為一家云服務(wù)商，自己租賃這些計(jì)算資源？

　　黃仁勛：這是公司哲學(xué)問(wèn)題。英偉達(dá)應(yīng)做“必須做的事，但越少越好”。這意味著，我們正在構(gòu)建計(jì)算平臺(tái)的工作是這樣的：如果我們不去做，我真心相信就不會(huì)有人去做。

　　如果我們不像現(xiàn)在這樣構(gòu)建NVLink、不像現(xiàn)在這樣構(gòu)建整個(gè)技術(shù)棧、不像現(xiàn)在這樣建立整個(gè)生態(tài)系統(tǒng)，如果我們沒(méi)有在過(guò)去20年里堅(jiān)持建設(shè)CUDA——那段時(shí)間大部分都是虧錢的——如果我們沒(méi)有做這一切，就不會(huì)有人去做。

　　如果我們沒(méi)有創(chuàng)建所有CUDA-X庫(kù)，使它們面向特定領(lǐng)域……十多年前，我們開(kāi)始著眼于領(lǐng)域?qū)Ｓ玫膸?kù)。我們意識(shí)到，如果我們不創(chuàng)建這些庫(kù)，無(wú)論它們是用于光線追蹤、圖像生成還是早期AI的發(fā)展，那么數(shù)據(jù)處理、結(jié)構(gòu)化數(shù)據(jù)處理、向量數(shù)據(jù)處理這些技術(shù)都不會(huì)存在。我們甚至為計(jì)算光刻創(chuàng)建了叫做cuLitho的庫(kù)。如果我們不創(chuàng)建它，也不會(huì)有人來(lái)做。所以，如果我們不做這些工作，加速計(jì)算不會(huì)取得今天這樣的進(jìn)展。

　　所以，這是我們必須做的事。我們應(yīng)該全力以赴，竭盡所能去完成這件事。然而，世界上有很多云服務(wù)商，我們不做也總會(huì)有人出現(xiàn)。英偉達(dá)遵循的理念是做“必須做的事，但越少越好”，一切都是以此為核心的。

　　關(guān)于云服務(wù)，如果我們不支持CoreWeave這樣的“新型云服務(wù)商”存在，那么這些AI云公司就不會(huì)存在。如果沒(méi)有我們的支持，CoreWeave根本無(wú)法存在。我們不支持Nscale，它們也不會(huì)走到今天。如果沒(méi)有我們的支持，Nebius也不會(huì)達(dá)到今天的水平。而現(xiàn)在，它們發(fā)展得非常好。

　　Q：為什么你不去挑選贏家？

　　黃仁勛：首先，這不是我們的責(zé)任。其次，英偉達(dá)剛剛創(chuàng)立時(shí)，有60家從事3D圖形業(yè)務(wù)的公司。最后，只有我們活了下來(lái)。但如果你當(dāng)時(shí)問(wèn)那60家公司哪家能活下來(lái)，英偉達(dá)很可能會(huì)被列為最不可能的那一個(gè)。

　　當(dāng)時(shí)，英偉達(dá)的圖形架構(gòu)完全搞錯(cuò)了。不是有一點(diǎn)錯(cuò)，而是徹底錯(cuò)了。

　　我們?cè)O(shè)計(jì)了一種開(kāi)發(fā)者完全無(wú)法支持的架構(gòu)。它永遠(yuǎn)不可能取得成功。我們本著正確的第一性原理去推導(dǎo)，但最終得出了錯(cuò)誤的解決方案。

　　當(dāng)時(shí)，所有人都會(huì)把我們排除在競(jìng)爭(zhēng)名單之外。然而，看看我們現(xiàn)在的樣子。

　　因此，我深知，要懷有足夠的謙遜。不要去挑選贏家。要么讓他們自己競(jìng)爭(zhēng)，要么支持所有人。

　　Q：我有一點(diǎn)沒(méi)聽(tīng)懂。你說(shuō)英偉達(dá)并不優(yōu)先支持新型云服務(wù)公司，但又列舉了很多新型云服務(wù)公司，并說(shuō)“如果沒(méi)有英偉達(dá)的支持，它們就不會(huì)存在”。這兩個(gè)說(shuō)法怎么兼容呢？

　　黃仁勛：首先，它們需要有生存的意愿，并且主動(dòng)來(lái)尋求我們的幫助。

　　當(dāng)它們渴望存在，并且有自己的商業(yè)計(jì)劃、專業(yè)技能和熱情時(shí)——顯然它們必須本身具備一些能力。但最終，它們需要一些投資來(lái)站穩(wěn)腳跟，而我們會(huì)為它們提供支持。越早啟動(dòng)它們的飛輪效應(yīng)越好。

　　你的問(wèn)題是，“我們想做金融投資方嗎？”答案是否定的。融資是別人的領(lǐng)域，我們更愿意與所有從事融資業(yè)務(wù)的人合作，而不是自己去當(dāng)金融家。我們的目標(biāo)是專注于我們擅長(zhǎng)的領(lǐng)域，讓我們的商業(yè)模式盡量簡(jiǎn)單，同時(shí)支持我們的生態(tài)系統(tǒng)。

　　比如，當(dāng)OpenAI需要規(guī)模高達(dá)300億美元的投資時(shí)，我們會(huì)出手幫助他們。世界需要他們的存在。世界渴望他們的存在，我也希望他們存在。他們現(xiàn)在有著強(qiáng)勁的增長(zhǎng)勢(shì)頭。我們會(huì)支持他們并幫助他們擴(kuò)展。這種投資我們會(huì)去做，因?yàn)樗麄冃枰覀?。但我們并不是試圖做“盡可能多的事情”，而是“盡可能少”。

　　Q：這個(gè)問(wèn)題可能顯而易見(jiàn)，但我們多年來(lái)一直處于GPU短缺的狀態(tài)，現(xiàn)在隨著模型的進(jìn)步，供需缺口似乎更大了。

　　黃仁勛：沒(méi)錯(cuò)，GPU目前仍然供不應(yīng)求。

　　Q：是的。英偉達(dá)以一種獨(dú)特的方式分配稀缺資源，并非單純的價(jià)高者得，而是更多地考慮“我們希望這些新型云服務(wù)公司能存在”，因此分配一些資源給CoreWeave、Crusoe，以及Lambda之類公司。英偉達(dá)為什么會(huì)采取這種方式？你同意這樣的市場(chǎng)描述嗎？

　　黃仁勛：不，不，你的前提就是錯(cuò)的。我們?cè)谶@些事情上非常謹(jǐn)慎。

　　首先，如果你沒(méi)有下訂單，那么再多的討論也是沒(méi)用的。在我們收到訂單之前，我們實(shí)在無(wú)能為力。所以第一步是：我們和所有人一起努力做好需求預(yù)測(cè)，因?yàn)檫@些東西需要很長(zhǎng)時(shí)間才能生產(chǎn)出來(lái)，而數(shù)據(jù)中心的建設(shè)也需要很長(zhǎng)時(shí)間。我們通過(guò)預(yù)測(cè)來(lái)協(xié)調(diào)供需，這是第一步。

　　其次，我們盡可能和更多人一起進(jìn)行需求預(yù)測(cè)，但最終還是要實(shí)際下訂單。也許由于某種原因，你沒(méi)有下訂單，那我們又能做什么呢？在某個(gè)時(shí)間點(diǎn)后，遵循的是“先到先得”原則。不過(guò)，如果你的數(shù)據(jù)中心還沒(méi)準(zhǔn)備好，或者某些組件還沒(méi)就緒，無(wú)法讓數(shù)據(jù)中心啟動(dòng)運(yùn)行，我們可能會(huì)優(yōu)先服務(wù)其他客戶。這只是為了最大化我們自己的工廠產(chǎn)能利用率，我們可能會(huì)做一些這種調(diào)整。

　　除此之外，優(yōu)先級(jí)就是“先到先得”。你需要下訂單。如果你不下訂單，那就真的無(wú)可操作。當(dāng)然，這可能演變成一些故事，比如之前報(bào)道提到拉里·佩奇、馬斯克和我共進(jìn)晚餐，請(qǐng)求獲得GPU。那完全不是真的。我們確實(shí)一起吃了頓飯，那是一次非常愉快的晚餐。但他們絕對(duì)沒(méi)有乞求GPU。他們只需下訂單就行了。一旦訂單下來(lái)了，我們會(huì)盡全力滿足他們的需求。這件事情并不復(fù)雜。

　　Q：好吧，所以聽(tīng)起來(lái)就是有一個(gè)隊(duì)列。如果你的數(shù)據(jù)中心準(zhǔn)備好了，并且訂單在某個(gè)時(shí)間下達(dá)了，那么你會(huì)按順序得到交付。但聽(tīng)上去這仍不是出價(jià)最高者就能優(yōu)先獲得。為什么采取這樣的策略呢？

　　黃仁勛：我們從來(lái)不這樣做。

　　Q：好吧。

　　黃仁勛：我們從來(lái)沒(méi)有。

　　Q：為什么不把東西賣給出價(jià)最高的人？

　　黃仁勛：因?yàn)檫@是糟糕的商業(yè)行為。你定好價(jià)格，然后讓人們決定是否購(gòu)買。我知道芯片行業(yè)的其他公司在需求很高時(shí)會(huì)調(diào)整價(jià)格，但我們不會(huì)。我們從來(lái)沒(méi)有這樣做過(guò)。你可以依賴我們。我更希望成為行業(yè)的基礎(chǔ)，不需要客戶反復(fù)猜測(cè)。如果我們給了你一個(gè)報(bào)價(jià)，那就是最終價(jià)格。如果需求暴漲，那就讓它暴漲吧。

　　Q：另一方面，這也是為什么你和臺(tái)積電有良好合作關(guān)系的原因，對(duì)嗎？

　　黃仁勛：是的，英偉達(dá)和臺(tái)積電合作即將滿30年了。我們之間甚至沒(méi)有簽過(guò)法律合同。有些事情總體上講求公平，有時(shí)候我占便宜，有時(shí)候吃虧。但總體來(lái)說(shuō)，我們有著極好的關(guān)系。我可以完全信任他們，完全依賴他們。

　　你可以相信英偉達(dá)的是：每一年，都可以期待我們帶來(lái)的進(jìn)步。今年是Vera Rubin，明年是Vera Rubin Ultra，再之后是Feynman，再下一年可能是尚未命名的新產(chǎn)品。每一年，我們都讓你值得期待。放眼整個(gè)ASIC領(lǐng)域，你都很難找到另一個(gè)團(tuán)隊(duì)如此穩(wěn)定，讓單片成本每年下降一個(gè)數(shù)量級(jí)，同時(shí)保持高產(chǎn)的能力。

　　沒(méi)有深度學(xué)習(xí)，英偉達(dá)也會(huì)做加速計(jì)算

　　Q：一個(gè)有趣的問(wèn)題。假設(shè)你們已經(jīng)占據(jù)了臺(tái)積電3nm工藝的大部分產(chǎn)能，并且未來(lái)在2nm節(jié)點(diǎn)時(shí)也占據(jù)大多數(shù)。你是否認(rèn)為，考慮到 AI 的需求如此之大，而前沿產(chǎn)能無(wú)法滿足需求，你們可以回頭利用7nm這樣較老工藝節(jié)點(diǎn)的剩余產(chǎn)能，比如制造一個(gè)基于Hopper或Ampere架構(gòu)的芯片，但結(jié)合現(xiàn)有的數(shù)值優(yōu)化技術(shù)和你提到的其他改進(jìn)？你覺(jué)得我們會(huì)在2030年之前看到這樣的情況嗎？

　　黃仁勛：沒(méi)這個(gè)必要。原因是，每一代架構(gòu)不僅僅依賴晶體管工藝制程。工程設(shè)計(jì)、封裝、堆疊、數(shù)值優(yōu)化，以及系統(tǒng)架構(gòu)上的種種改進(jìn)都大有作為。

　　如果遇到產(chǎn)能不足的情況，就回到較舊的工藝節(jié)點(diǎn)重新設(shè)計(jì)芯片……那需要的研發(fā)投入誰(shuí)也承擔(dān)不起。我們可以承擔(dān)向前推進(jìn)的投入，但承擔(dān)不起回頭的代價(jià)。當(dāng)然，如果情形是……做個(gè)思想實(shí)驗(yàn)：如果有一天我們得出結(jié)論，“我們?cè)僖矡o(wú)法得到更多的前沿產(chǎn)能”，如果真到了那天，我當(dāng)然會(huì)立刻選擇回去使用7nm工藝。

　　Q：有人提出過(guò)一個(gè)問(wèn)題，為什么英偉達(dá)不同時(shí)并行展開(kāi)多個(gè)使用不同架構(gòu)的芯片項(xiàng)目？

　　比如你們可以研發(fā)像Cerebras那樣的晶圓級(jí)芯片，或者像Dojo那樣的大型封裝，甚至一個(gè)完全沒(méi)有CUDA的設(shè)計(jì)。你們有足夠的資源和工程人才，能夠并行開(kāi)展這些項(xiàng)目。那么，為什么還要把所有的賭注押在一個(gè)籃子里？

　　黃仁勛：哦，我們是可以做到。但問(wèn)題是，我們沒(méi)有找到更好的想法。我們可以嘗試這些東西，但它們并沒(méi)有更好。我們?cè)谀M器里測(cè)試過(guò)所有這些方案，結(jié)論都很明確：效果更差。所以我們不會(huì)去做。我們目前專注的項(xiàng)目，正是我們最想做的。

　　當(dāng)然，如果任務(wù)類別發(fā)生了重大變化——我指的不是算法，而是真正的任務(wù)需求變化，這取決于市場(chǎng)的形態(tài)——那么我們可能會(huì)決定增加一些其他的加速器。

　　例如，最近我們引入了 Groq，我們將其整合到CUDA生態(tài)系統(tǒng)中。我們之所以這樣做，是因?yàn)槿缃馮oken的價(jià)值已經(jīng)高得驚人，這么做可以給Token設(shè)定不同的價(jià)格。幾年前，Token要么免費(fèi)，要么不貴。但現(xiàn)在，客戶越來(lái)越多樣化，他們需要不同的性能表現(xiàn)。比如我們的軟件工程師，如果我能提供更快響應(yīng)的Token，讓他們比現(xiàn)在更高效，我愿意為此買單。

　　這個(gè)市場(chǎng)是最近才出現(xiàn)的。我認(rèn)為，我們現(xiàn)在可以基于響應(yīng)時(shí)間來(lái)細(xì)分市場(chǎng)。這就是我們決定拓展帕累托前沿，并創(chuàng)建一個(gè)響應(yīng)時(shí)間更快的推理細(xì)分市場(chǎng)的原因，盡管它的吞吐量較低。

　　在此之前，提高吞吐量一直更為優(yōu)先。但我們認(rèn)為，未來(lái)可能會(huì)出現(xiàn)一種場(chǎng)景：即便工廠的吞吐量較低，但由于高平均售價(jià)（ASP），也有意義。

　　這就是我們這么做的原因。但總體而言，從架構(gòu)的角度出發(fā)，如果讓我擁有更多資源，我會(huì)將這些資源投資于英偉達(dá)的現(xiàn)有架構(gòu)。

　　Q：我覺(jué)得這種“高溢價(jià)Token”和推理市場(chǎng)細(xì)分化的想法非常有趣。

　　黃仁勛：是的，市場(chǎng)的進(jìn)一步細(xì)化。

　　Q：好，最后一個(gè)問(wèn)題。假設(shè)深度學(xué)習(xí)革命從未發(fā)生過(guò)，英偉達(dá)現(xiàn)在會(huì)做什么？

　　黃仁勛：加速計(jì)算——我們一直以來(lái)所做的事情。

　　我們認(rèn)定摩爾定律正在放緩……通用計(jì)算在很多方面表現(xiàn)良好，但在許多計(jì)算任務(wù)上并不理想。

　　因此，我們將一種名為GPU的架構(gòu)與CPU結(jié)合在一起，以加速CPU的計(jì)算負(fù)載。不同的代碼內(nèi)核或算法可以被卸載到我們的GPU上運(yùn)行。結(jié)果是，你可以將一個(gè)應(yīng)用程序的速度提高100倍、200倍。

　　這種性能可以用在哪里？顯然是在工程和科學(xué)領(lǐng)域，比如物理學(xué)、數(shù)據(jù)處理、計(jì)算機(jī)圖形學(xué)、圖像生成等等。即使今天沒(méi)有AI，英偉達(dá)依然會(huì)是一家非常龐大的公司。

　　這一點(diǎn)有著非常根本的原因，那就是：通用計(jì)算能力繼續(xù)擴(kuò)展的潛力基本上已經(jīng)走到盡頭。更進(jìn)一步可行方式，是領(lǐng)域?qū)Ｓ玫募铀倨鳌?/p>

　　我們最早涉足的領(lǐng)域之一是計(jì)算機(jī)圖形學(xué)，但還有許多其他領(lǐng)域，比如粒子物理和流體模擬、結(jié)構(gòu)化數(shù)據(jù)處理，以及各種受益于CUDA技術(shù)的算法。

　　我們的使命一直是將加速計(jì)算帶給全世界，推動(dòng)那些通用計(jì)算無(wú)法實(shí)現(xiàn)的應(yīng)用發(fā)展，幫助突破科學(xué)邊界。一些早期的應(yīng)用包括分子動(dòng)力學(xué)、用于能源勘探的地震處理、圖像處理以及計(jì)算機(jī)圖形的方方面面，在這些領(lǐng)域，通用計(jì)算效率都太低。

　　如果沒(méi)有AI，我會(huì)非常遺憾。但正因?yàn)槲覀冊(cè)谟?jì)算技術(shù)上的進(jìn)步，深度學(xué)習(xí)被普及到世界各地。我們讓研究人員、科學(xué)家、學(xué)生都可以通過(guò)一臺(tái)PC或GeForce顯卡做出令人驚嘆的科學(xué)研究。這一承諾從未改變過(guò)，一點(diǎn)點(diǎn)都沒(méi)有。

　　如果你看GTC，開(kāi)場(chǎng)部分根本與AI無(wú)關(guān)。計(jì)算光刻、量子化學(xué)研究、數(shù)據(jù)處理，這些內(nèi)容與AI無(wú)關(guān)，但依然非常重要。我知道AI很激動(dòng)人心，但還有很多人在做不涉及AI的重要工作，而這些計(jì)算任務(wù)并不僅僅局限于張量計(jì)算。

海量資訊、精準(zhǔn)解讀，盡在新浪財(cái)經(jīng)APP

責(zé)任編輯：韋子蓉