|
來源：Alpha Engineer 近日臺積電董事長Mark Liu（劉德音）在IEEE上刊登了一篇長文，標題為《How We’ll Reach a 1 Trillion Transistor GPU》。 作為全球半導體產(chǎn)業(yè)巨頭，Mark Liu講述了AI產(chǎn)業(yè)發(fā)展背后的芯片故事，視角獨特，非常值得一讀。 （1）10年內(nèi)將出現(xiàn)萬億晶體管集成的GPU 從1997年IBM Deep Blue擊敗國際象棋大師Garry Kasparov算起，到ChatGPT、Sora的誕生，過去了整整27年。 這27年中，人工智能的能力得到了極大的提升，這背后有三大驅(qū)動力：算法架構(gòu)的創(chuàng)新、海量數(shù)據(jù)的積累、半導體技術的革命。 可以說，半導體產(chǎn)業(yè)的技術革新，是人工智能發(fā)展的重要驅(qū)動力。 IBM的Deep Blue采用的是0.6微米和0.35微米的混合芯片制造工藝。 贏得ImageNet競賽的神經(jīng)網(wǎng)絡模型，背后是基于40納米制程的芯片工藝。 在圍棋界獨霸天下的AlphaGo，采用的是28nm的制程工藝。 轟動全球的ChatGPT，則是基于4nm工藝。 
如果AI革命按現(xiàn)在的速度發(fā)展下去，10年內(nèi)我們就需要一個萬億晶體管的GPU。 而要知道，英偉達最新發(fā)布的Blackwell架構(gòu)的B200芯片，也才只有2080億個晶體管。也就是說，10年內(nèi)GPU中晶體管的集成數(shù)量將有10倍的提升空間。 半導體技術進步的驅(qū)動力包括：新材料、光刻技術發(fā)展、新型晶體管、先進封裝工藝。上圖中把這四種類型的驅(qū)動因素分別呈現(xiàn)，一目了然。 （2）光刻工藝達到瓶頸，3D封裝成為突破口 自集成電路發(fā)明以來，半導體技術一直致力于縮小尺寸，從而能夠?qū)⒏嗟木w管塞進一個拇指大小的芯片中。 現(xiàn)如今，隨著2.5D、3D封裝被廣泛應用，集成度提升到了新的水平。 臺積電正在將許多芯片組合成為一個緊密集成的、大規(guī)模互聯(lián)的系統(tǒng)。這是半導體集成領域正在發(fā)生的范式轉(zhuǎn)變。 在AI時代，晶體管的集成度變得愈發(fā)重要。這是因為光刻機在加工芯片的過程中，有一個非常重要的物理限制，即不能制造超過800 mm²尺寸的集成電路。 更具體來說，這個數(shù)字是858 mm²（26 mm ×33 mm），可以理解為光刻機可處理的芯片極限尺寸，在業(yè)內(nèi)被稱為Reticle Limit。 因此，人們無法通過單純做大芯片尺寸來提升性能。 現(xiàn)如今，我們可以通過將多個芯片連接到一塊更大的中介層上（interposer），從而突破光刻機Reticle Limit的性能瓶頸，在單一系統(tǒng)中集成更多的晶體管。 例如，臺積電著名的CoWoS技術（Chip-on-Wafer-on-Substrate）可以容納多達6個掩膜板區(qū)域的計算芯片，以及十幾個HBM芯片。
（3）CoWoS先進封裝在Nvidia GPU中的應用 臺積電的CoWoS技術已經(jīng)被廣泛應用于Nvidia的GPU中，包括Ampere架構(gòu)及Hopper架構(gòu)的GPU。 它們均由一塊GPU芯片和6個HBM共同集成在硅中介層上，計算芯片的尺寸大約是當前芯片制造工藝允許的最大尺寸。 Ampere架構(gòu)的GPU采用7nm工藝，集成了540億個晶體管。 Hopper架構(gòu)的GPU采用4nm工藝，集成了800億個晶體管。 制程工藝的提升使得我們能夠在相同的表面積上多封裝50%的晶體管數(shù)量，從而有效支持ChatGPT這類大語言模型的訓練及推理。
圖：Nvidia芯片架構(gòu)演進歷史，申萬宏源 （4）HBM、Bumpless Bonding：高性能GPU的基石 另一項關鍵的半導體技術是HBM。 HBM在控制邏輯IC之上，垂直堆疊了若干DRAM芯片，并采用TSV（硅通孔）進行垂直互聯(lián)，讓信號能夠穿過每個芯片的焊錫凸點，從而形成存儲芯片之間的連接。 這種將芯片堆疊在一起形成集成系統(tǒng)的能力，在臺積電被稱為SoIC（System-on-Integrated Chips）。 現(xiàn)如今，高性能GPU基本離不開HBM。
根據(jù)臺積電的最新技術3D SoIC，可以將現(xiàn)在的HBM方案進行“無凸塊化”處理（bumpless bonding）。 新版HBM架構(gòu)采用銅對銅的連接，用混合鍵合技術堆疊12層芯片，并且在低溫下粘合在一塊較大的邏輯芯片之上，總厚度僅為600微米。 新版HBM架構(gòu)能夠提供更密集的垂直互聯(lián)，銅對銅連接的密度顯著高于焊錫凸塊所提供的集成密度。 （5）硅光：未來半導體產(chǎn)業(yè)最重要的技術之一 對于大語言模型而言，有高性能芯片還不夠。為了達到極高的計算速度，我們還需要提升通信速率。 現(xiàn)如今，光學互聯(lián)已經(jīng)被廣泛應用于數(shù)據(jù)中心里的服務器機架。不久之后，我們就會需要通過基于硅光的光學接口，來將GPU和CPU封裝在一起。 這樣一來，數(shù)百臺服務器可以對外表現(xiàn)為一個具備統(tǒng)一內(nèi)存的巨型GPU。 隨著AI應用需求的推動，硅光將成為未來半導體產(chǎn)業(yè)最重要的技術之一。
（6）CoWoS先進封裝在AMD MI300A中的應用 AMD的MI300A加速處理單元不僅僅運用了CoWoS，還用到了臺積電的SoIC技術。 MI300A同時包含了GPU和CPU核心，其中GPU負責處理AI任務所需的密集矩陣乘法運算，而CPU負責控制整個系統(tǒng)的運算，HBM則統(tǒng)一為二者提供服務。 9個基于5nm制程的計算芯片，堆疊在4個基于6nm制程的基礎芯片上，后者主要負責緩存和IO通信。處理器的計算部分包含了1500億個晶體管。
當下，單塊GPU芯片已經(jīng)達到了光刻工藝的制造極限（reticle limit），晶體管數(shù)量約1000億個。為了繼續(xù)增加晶體管集成度，勢必需要將多個chiplet通過2.5D或3D封裝的方式來集成互聯(lián)，執(zhí)行運算。 幸運的是，業(yè)界已經(jīng)能夠快速縮小chiplet之間垂直互聯(lián)的間距，從而提升連接密度，并且還有非常充足的提升空間。 我們認為通過垂直互聯(lián)技術的發(fā)展，晶體管的集成密度可以至少提成一個數(shù)量級，使得多芯片GPU內(nèi)集成超過1萬億個晶體管。
（7）EEP仍將保持每2年翻3倍的增長趨勢 為了有效評估半導體技術創(chuàng)新對系統(tǒng)性能帶來的影響，業(yè)內(nèi)有一個指標叫做EEP。 EEP的全稱是Energy-Efficient Performance，即能效性能，是能效與性能的綜合衡量標準。 過去15年來，半導體行業(yè)的EEP呈現(xiàn)出每2年提高3倍的趨勢。我們相信這個趨勢會繼續(xù)保持下去，其背后得益于新材料的應用、先進封裝工藝、EUV光刻技術的發(fā)展、電路及系統(tǒng)架構(gòu)設計的優(yōu)化等等。
（8）3D集成電路將迎來Mead-Conway時刻 1978年，加州理工大學教授Carver Mead以及Xero PARC研究中心的Lynn Conway發(fā)明了一種通過計算機輔助設計集成電路的方法。 它們通過一組設計規(guī)則，讓工程師能夠輕松設計超大規(guī)模的集成電路，而無需了解太多的工藝細節(jié)。 當下3D芯片設計領域也需要同樣的能力。現(xiàn)在一位3D芯片設計師需要了解的知識非常多，包括系統(tǒng)架構(gòu)設計、軟硬件優(yōu)化、3D封裝技術等等。 正如我們在1978年所做的一樣，我們再次需要一種通用語言，用計算機能夠理解的方式來描述3D芯片設計技術，讓設計人員可以在無需考慮底層技術的同時，自由地設計3D芯片。 類似的技術正在陸續(xù)誕生，比如一項名為3Dblox的開源標準正在被越來越多的半導體技術公司和EDA公司所采用。
（9）隧道已至終點，面向無限可能的未來 過去50年，半導體技術的發(fā)展就像是走進了一條隧道，有著明確的目標和清晰的路徑。所有人的目標只有一個：shrink the transistor。 現(xiàn)在，我們已經(jīng)走到了隧道盡頭。從現(xiàn)在開始，半導體技術的發(fā)展正式進入深水區(qū)，在隧道之外有著各式各樣的可能性，等待人們?nèi)ヌ剿鳌?/td> |
