“為了訓練像ChatGPT這樣的人工智能(AI)機器人所需的大型語言模型(LLM),中國可能不得不依賴圖形處理單元(GPU)的數量而不是質量,因為美國切斷了最先進的芯片。”企業家和工程師說。
中國人工智能協會董事會的一位人工智能技術企業家在最近的一次閉門研討會上將LLM稱為現代的蒸汽機時表示,美國在計算能力方面領先中國主要是因為它在GPU方面的優勢,GPU在機器學習方面比中央處理器(CPU)具有獨特的優勢,因為它們使用同步計算的方式。
“我們沒有像A100那樣強大的顯卡,但我們可以將功能較弱的GPU放在一起,以數量取勝,”這位企業家談到英偉達的數據中心芯片時說,美國已阻止向中國出口。
他和這個故事中引用的其他人一樣,由于這個話題的敏感性,要求不透露姓名。“我認為計算能力仍然是贏得未來競爭的一個非常重要的決定性因素。
自去年11月由微軟支持的初創公司OpenAI開發的ChatGPT推出以來,聊天機器人的驚人普及引發了大型科技公司之間的競賽,以開發自己的生成AI產品版本。
這已經延伸到中國,互聯網搜索公司百度,TikTok所有者字節跳動,社交媒體和視頻游戲巨頭騰訊控股,以及電子商務巨頭阿里巴巴集團控股,南華早報的所有者,都把帽子扔進了擂臺。.
然而,專家警告說,中國在生產像ChatGPT這樣的產品時面臨一些重大障礙,這可能會受到審查制度或對先進半導體的日益限制的阻礙。當談到用于訓練AI的芯片時,GPU是關鍵成分。
rendForce 集邦咨詢今日發布報告稱,生成式 AI 是通過 GAN、CLIP、Transformer、Diffusion 等算法、預訓練模型、多模態等 AI 技術的整合。數據、算力、算法是深耕生成式 AI 不可或缺的三大關鍵。
報告指出,由于生成式 AI 必須投入大量數據進行訓練,為縮短訓練就得采用大量高性能 GPU。以 ChatGPT 背后的 GPT 模型為例,其訓練參數從 2018 年約 1.2 億個到 2020 年已暴增至近 1800 億個。
TrendForce 集邦咨詢預計,GPU 需求量預估約 2 萬顆,未來邁向商用將上看 3 萬顆(本文計算基礎以 NVIDIA A100 為主)。生成式 AI 發展將成為趨勢,將帶動 GPU 需求顯著提升,連帶使相關供應鏈受益。
據介紹,其中最大受益者是 GPU 芯片龍頭的英偉達(NVIDIA),旗下可達到 5 PetaFLOPS 運算性能的 DGX A100,幾乎是目前用于大規模數據分析、AI 加速運算的首眩此外,尚有推出 MI100、MI200、MI300 系列芯片的 AMD。
2022 年 10月,華盛頓禁止英偉達在沒有許可證的情況下向中國客戶出售 A100 及其更強大的 H100 GPU,這是美國領導的減少中國獲得先進芯片的更大努力的一部分。
英偉達后來表示,它為中國客戶提供一系列規格較低的替代產品。這包括A800,其性能降低以滿足出口要求。
該芯片具有足夠的計算能力來滿足大多數客戶的需求,據英偉達在中國的合作伙伴Sitonholy的銷售經理說,該公司為AI服務器和其他高性能計算設備提供解決方案。
中國的GPU卡生態系統還不夠強大。許多卡提供商仍在將其產品的性能與Nvidia V100進行比較,“他說,指的是該公司于2017年發布的數據中心GPU。
他補充說,即使中國芯片制造商能夠設計出像A100一樣復雜的GPU,鑒于目前的美國制裁,制造它們是另一個障礙。
中國芯片集團清華紫光旗下子公司西安UniC半導體有限公司的一位董事也指出了獲得先進芯片制造技術的挑戰。
“如果某些AI和GPU芯片的計算能力超過[美國設定的]限制,流片可能會面臨限制,”他周三表示,指的是大規模生產之前的試制過程。
“以前,中國有機會將其芯片制造提高到5納米或7納米,但對先進工具的限制使這變得非常困難。
2022 年10月,美國大幅加強了出口管制規則,旨在進一步限制中國獲得某些高端半導體和尖端芯片制造工具的機會,這些工具可以使先進芯片的本地生產成為可能。
美國還利用所謂的長臂法規來阻止代工廠使用美國原產技術生產可為中國客戶每秒執行超過4,800 tera操作的芯片。
中國國內芯片設計和生產仍然嚴重依賴進口軟件、工具等技術,這種對成熟和先進節點工藝的依賴性在短期內難以減少。
盡管如此,開發GPU并不是“黑魔法”,因此中國有機會趕上類似ChatGPT的技術,英偉達的一位高級工程師說。
“它只是慢了一點,但差距可能會累積起來變得相當大,”他說。