2023-06-02
AI競賽隱形贏家!NVIDIA技壓Google、Intel、AMD,穩坐AI晶片龍頭,致勝關鍵全靠軟件!
在生成式AI熱潮下,最大得益者是誰呢?答案不是OpenAI與Microsoft,也不是 Google,而是AI晶片生產商輝達(NVIDIA),年初以來該公司股價已暴漲逾174%。於是不少公司湧入AI晶片市場,試圖分一杯羹,當中以科技巨頭Google最為進取,推出號稱效能比NVIDIA更強的AI晶片,但卻似乎難以撼動對方——輝達市值在5月底曾突破1兆美元關口,一度成為史上第7家進入兆元級俱樂部的大企業!究竟NVIDIA是如何建立鐵桶般穩固的AI晶片霸業呢?
ChatGPT運算靠NVIDIA GPU
OpenAI為了訓練ChatGPT背後的GPT大型語言模型,豪擲1億美元(約7.8億港元),採購10,000枚NVIDIA A100 圖像處理器(Graphics Processing Unit,GPU)來進行運算。輝達創辦人兼執行長黃仁勳表示,世上首台用於AI運算、內含NVIDIA GPU的超級電腦DGX,正是由他親手交給OpenAI。
黃仁勳在世上第一部DGX超級電腦上簽名後,交親手交給OpenAI的負責人。(圖片來源:翻攝NVIDIA官方YouTube影片)
黃仁勳坦言,當初沒有想過GPU可以應用於AI深度學習(Deep Learning)之上。NVIDIA創立於1993年,以GPU作主力產品,聚焦於遊戲圖形運算——不少電腦遊戲玩家為求享受更佳的3D圖像顯示效果,不惜大破慳囊購入NVIDIA晶片顯示卡,當年筆者也因此而貢獻了不少金錢給輝達。
後來,有AI研究人員發現,GPU支援「平行運算」(Parallel Computing)的特性,原來非常適合用於需要計算大量數據的AI模型建立。所謂「平行運算」,意指同時使用多種運算資源來執行電腦指令,以解決運算問題;其基礎概念是將需運算的內容分割成小部分,之後以並行方式來加速運算。
AI教父讚揚GPU的AI運算潛能
OpenAI聯合創辦人暨首席科學家伊利亞·蘇茨克維爾(Ilya Sutskever)稱,初時不知道GPU可以用在哪裏,之後才發現大型視覺資料庫「ImageNet」很適合用GPU來運算,更讓數據訓練達到前所未有的規模。蘇茨克維爾的老師、有「AI教父」之稱的謝菲·辛頓(Geoffrey Hinton)更揚言:「GPU將會是機器學習(Machine Learning)的未來。」
「AI教父」謝菲·辛頓(右)與兩名愛徒亞歷克斯·克里舍夫斯基(中)、伊利亞·蘇茨克維爾(左)均認為,GPU非常適合用於AI運算。(圖片來源:多倫多大學官網)
2012年,辛頓的另一高足亞歷克斯·克里舍夫斯基(Alex Krishevsky),利用2張NVIDIA顯示卡與120萬張圖片來建立AI模型,錯誤率從一年前的25%大幅下降至15%,獲得飛躍式進步。如此成果除令到克里舍夫斯基在學術界打響名堂外,亦激勵了Google、微軟(Microsoft)、以及亞馬遜(Amazon)等爭相進入AI領域。
隨著AI研究開始變得興旺,市場對AI晶片的需求自然大增。看到此商機者又豈止黃仁勳一人呢?當年有不少初創公司摩拳擦掌,準備研發GPU,搶攻AI運算市場。NVIDIA之所以能夠突圍而出,全賴黃仁勳敢於作出一個不被外界看好的重大決定——研發《CUDA》(Compute Unified Device Architecture)。
當日黃仁勳決定大舉投資開發《CUDA》時,曾被不少投資者和分析師看衰,最終證明他橫眉冷對千夫指之決定是正確的,造就了今日NVIDIA的AI晶片霸業。(圖片來源:NVIDIA官網)
研發CUDA造就輝達鐵桶江山
《CUDA》是一個為編程人員而設的開發工具平台,基於《CUDA》編寫的程式可以讓NVIDIA GPU進行圖像處理以外的運算,而AI運算當然是首選之列。AI工程師在《CUDA》上進行編程,不用再編寫低階程式語法,可以直接運用C++或Java等高階語法來撰寫運行於GPU的演算法,輕鬆解決平行運算中複雜的技術問題;加上NVIDIA大力投放資源來改良《CUDA》,讓它跟著每一代GPU發展不斷優化,最終成為AI開發上必不可少的底層軟件。
目前全球逾3,000家的AI初創企業,大部分都建基於《CUDA》平台上進行研發,2022年《CUDA》下載量更高達2,500萬次。換言之,NVIDIA的《CUDA》就好像蘋果(Apple)的《iOS》作業系統,紮根於底層軟件,逐漸發展成龐大的軟件生態圈,讓AI工程師離不開《CUDA》,形成後來者難以攻入的防禦壁壘。
然而,當競爭對手換作是財雄勢大的Google,NVIDIA又能否抵禦呢?自2016年起,Google便著手開發適用於AI運算的「張量處理器」(Tensor Processing Unit,TPU),把它用於公司內部逾90%的AI模型訓練工作;自2018年起,Google更將TPU提供給第三方廠商使用。
Google TPU挑戰NVIDIA GPU
Google於2023年4月發表的論文闡述,如何用自家研發的光纖交換器串聯逾4,000枚第四代晶片「TPU v4」,合組成AI超級電腦。測試結果顯示,TPU v4超級電腦的運算速度比NVIDIA A100晶片驅動的同類型系統快上1.2至1.7倍,惟耗電量卻減少1.3至1.9倍。
除積極部署TPU外,Google也著手於重組公司內部架構,務求將更多人力資源調撥到AI研發上。開發語音助理Google Assistant的部門已將Bard列為優先發展項目,隨後Google更委派商務部門副總裁佩尤什·蘭詹(Peeyush Ranjan)出任該部門主管,可見Bard搭配TPU的發展方向之一是語音聊天應用。
可是,外界認為Google的連番舉措,根本難以動搖NVIDIA的AI晶片龍頭地位。究其原委,NVIDIA的AI晶片技術仍是遙遙領先於對手。在Google的論文中,只將NVIDIA上代晶片A100列作TPU v4的比較對象,但目前輝達的主打產品卻是新一代的H100。這款新晶片採用更先進的台積電4奈米製程,運算速度是A100的4倍,故此效能大幅拋離TPU v4。
Google於2021年推出TPU v4,宣稱運算效能是NVIDIA A100的1.7倍。但NVIDIA最新AI晶片H100的效能,卻是A100的4倍,反過來說,也就是TPU v4的2倍以上。(圖片來源:Google官方網誌)
黃仁勳高呼CPU摩爾定律已死
再者,NVIDIA很早進入AI晶片市場,大部分AI公司已慣用其軟硬件產品來開發和訓練AI模型。因此,科技大廠如想在AI競賽中強化本身實力,都傾向搶購NVIDIA晶片。市調機構TrendForce評估,NVIDIA GPU現已成為AI伺服器的主流配置,市佔率上看70%。另一國際市調機構Gartner分析師奇拉格·迪凱特(Chirag Dekate)指出,輝達不但是一家GPU運算公司,更是一家AI超級運算公司,當下NVIDIA已成為AI的代名詞。
在NVIDIA GTC 2023大會上,OpenAI首席科學家伊利亞·蘇茨克維爾(右)與黃仁勳對談時表示,GPU是訓練GPT模型的關鍵環節。(圖片來源:NVIDIA官網)
儘管如此,NVIDIA卻不敢怠慢,反而加快版圖擴張的腳步。2023年5月,黃仁勳在台北國際電腦展Computex上發表主題演說,揚言過去30年間驅動電腦高速發展的摩爾定律(Moore's law),現已走到盡頭了。根據英特爾(Intel)提出的摩爾定律,因製程技術提升,中央處理器(Central Processing Unit,CPU)上可容納的電晶體密度和運算效能,每隔18至24個月便會增加一倍。一直以來,此定律都是半導體製程技術推進速度的遵循依據。
黃仁勳在Computex 2023電腦展發表主題演講,強調過去5年GPU效能已提升1,000倍,完全打破了摩爾定律!(圖片來源:翻攝NVIDIA官方YouTube影片)
專為遊戲玩家而設的NVIDIA GeForce RTX 40系列GPU,支援DLSS 3人工智能繪圖技術,可運用AI創造額外的高質畫面。(圖片來源:NVIDIA官網)
黃仁勳指出,隨著晶片面積不斷縮小,摩爾定律將面臨到物理極限;而水漲船高的先進製程定價,也使CPU在相同成本下每五年獲得10倍效能提升的定律,難以持續下去,致使CPU不能再像昔日般飛快升級。他直言,如要解決CPU發展瓶頸所造成的問題,就需要有新的運算解決方案——利用GPU協助CPU來加速運算,以加快電腦系統的運行速度。
黃氏言下之意,是要以GPU取代CPU的主導角色,推進整個科技產業繼續向前邁進。他宣稱,過去5年NVIDIA GPU的效能已暴增1,000倍,比起摩爾定律下CPU約2年遞升1倍更為快速。
搭載H100 GPU的AI伺服器定價高昂,預計售價為4萬美元(約31.2萬港元),惟黃仁勳解釋指,NVIDIA AI伺服器擁有高運算力和低功耗的特點,不但更適合用於生成式AI的訓練任務,還可幫助企業大幅節省電力開支。(圖片來源:翻攝NVIDIA官方YouTube影片)
NVIDIA全面搶攻數據中心市場
AI運算要依靠數據中心的伺服器,而黃仁勳就高喊:「數據中心就是電腦」(Data center is the computer),並強調NVIDIA將以此為發展重心,可見輝達將全面搶攻數據中心市場。目前全球數據中心的運算仍是Intel CPU的天下,但生成式AI的出現,卻為NVIDIA GPU帶來變天的機會。
隨著生成式AI的使用量日益增加,數據中心需要計算的數據量也日趨龐大。當CPU技術發展停滯不前,數據中心營運者為求有更高速的運算表現,自然會轉投GPU的懷抱。瑞銀(UBS)預測,在1至2年內,由AI催生的GPU需求將增加到100億至150億美元(約780億至1,170億港元),而NVIDIA從數據中心獲得的年度收入可望倍增。
黃仁勳於2023年5月底宣布,新一代AI超級電腦DGX GH200已獲Microsoft、Google Cloud、以及Meta採用,正好印證了此趨勢。瑞穗銀行(Mizuho)分析師喬丹·克萊恩(Jordan Klein)指出,Intel CPU的伺服器市場份額正逐漸流失給GPU,而英特爾在AI競賽中明顯處於劣勢。
專為生成式AI而設的NVIDIA超級電腦DGX GH200,將256個Grace Hopper超級晶片串連起來,能夠將其作為單一GPU使用,並內置144 TB龐大記憶體,已獲Google Cloud、Meta與微軟率先採用。(圖片來源:翻攝NVIDIA官方YouTube影片)
至於超微(AMD),是目前市場上除NVIDIA以外另一家真正的GPU生產商,同時又兼具CPU製造能力,故此其競爭優勢比Intel為佳,惟要追上NVIDIA依然有漫長的路要走。由是觀之,在AI晶片市場上,如今輝達已是難覓對手;在這個生成式AI盛世下,該公司更將迎來巨大的成長動能,讓其鐵桶江山變得更加穩固!
延伸閱讀:
搶攻Metaverse!NVIDIA靠GPU晶片與「Omniverse」上位,成元宇宙真正贏家?
Google AI反擊戰!Bard用圖片答問題,Google搜尋直接生成答案!會損害全球網站利益?
AI發展太快惹恐慌!歐盟、加拿大搶先全球立法規管!OpenAI建議華府成立專責監管機構
《經濟通》所刊的署名及/或不署名文章,相關內容屬作者個人意見,並不代表《經濟通》立場,《經濟通》所扮演的角色是提供一個自由言論平台。
【你點睇】有健身中心宣布全線暫時結業,議員指巨額預繳式長約並不合理,你日後若「入會」會更留意邊方面?► 立即投票