為了解決未來應用的算力需求，半導體產(chǎn)業(yè)內(nèi)的IP與工藝創(chuàng)新仍在持續(xù)發(fā)展，如今多晶片（multi-die）系統(tǒng)已經(jīng)變得愈發(fā)普遍。然而，負載需求已經(jīng)開始影響到計算陣列、內(nèi)存以及DDR、HBM和UCIe的帶寬等，因為新一代的硬件都已轉(zhuǎn)為面向未來的AI負載設(shè)計。

真正驅(qū)動多芯片系統(tǒng)發(fā)展的因素

? ? SoC性能一直在迭代升級，多核設(shè)計在推動性能提升上的重要性也是被廣泛討論的話題之一，因為“登納德縮放定律”(Dennard scaling)也被視為即將迎來終結(jié)（圖1）。

圖1：SoC性能的迭代升級

即便忽略這一趨勢，為了滿足性能需求，晶圓代工廠持續(xù)推進下一代工藝節(jié)點，使其實現(xiàn)更高的頻率和更高的邏輯密度從而集成更多的處理單元，同時減少功耗面積。這一持續(xù)創(chuàng)新的趨勢可見圖2。

圖2：最新的IMEC工藝節(jié)點路線預測圖

除了工藝節(jié)點的創(chuàng)新外，多核架構(gòu)和處理器陣列也在積極克服性能迭代提升的問題。然而，無論是多核架構(gòu)的創(chuàng)新，還是工藝節(jié)點的迭代升級，兩者都需要一個新的多芯片系統(tǒng)架構(gòu)。解決內(nèi)存墻的問題無疑是多芯片系統(tǒng)的主要驅(qū)動需求之一（見圖3）。下圖向我們展示了內(nèi)存密度正以每兩年翻倍的速度增長，而工作負載所需的內(nèi)存密度正以每兩年翻240倍的速度增長。如需了解更多詳情，可以瀏覽發(fā)表在Medium上的《AI與內(nèi)存墻》一文。

圖3：訓練先進模型所需的算力（單位Peta FLOPs），用來訓練SOTA模型，包括不同的CV、NLP和語音模型，以及不同Transformer模型的規(guī)模擴展速度（兩年翻750倍）；同時包括所有模型的平均規(guī)模擴展速度（2年翻15倍）。

為了滿足內(nèi)存帶寬方面的性能需求，我們已經(jīng)看到當前片外內(nèi)存市場被高帶寬內(nèi)存（HBM）等新技術(shù)所顛覆。業(yè)界已經(jīng)看到HBM3成為HPC市場的主流。這一革新仍將繼續(xù)，因為 HBM 有一個很好的未來性能提升路線圖。 遺憾的是，以上所表述的內(nèi)存墻僅限于片外內(nèi)存，而片上內(nèi)存系統(tǒng)在如今大多數(shù)SoC設(shè)計中都起到了至關(guān)重要的作用，所以不久的將來，這一行業(yè)的革新同樣不可避免。

當下的設(shè)計重心

AI與安全相關(guān)的負載計算量正在急劇地提升，這也推動了不少頻率提升之外的片上性能創(chuàng)新。其中絕大多數(shù)創(chuàng)新都集中在負載所需的處理器上。例如人工智能算法推動了大規(guī)模乘法累加并行運算以及創(chuàng)造性嵌套循環(huán)的設(shè)計，在減少了運算周期的同時提高了單個周期完成的工作量。

不過，這些負載也需要更大的內(nèi)存密度來存儲權(quán)重、系數(shù)和訓練數(shù)據(jù)。這就推動了更大容量和更高帶寬的片上與片外內(nèi)存的出現(xiàn)。在片外內(nèi)存方面，業(yè)界已經(jīng)迅速普及了新一代的HBM、DDR和LPDDR內(nèi)存。然而，芯片供應商最大的差異化方案還是體現(xiàn)在片上內(nèi)存配置上。例如，在AI加速器領(lǐng)域，每個供應商都在力求在全局SRAM和緩存上集成更高帶寬和更高密度的內(nèi)存。利用特殊方法優(yōu)化每個處理單元的內(nèi)存配置，也是這一創(chuàng)新難題中最關(guān)鍵的一環(huán)。

從SoC性能提升退一步看，業(yè)界面臨的另一大問題就是云端AI系統(tǒng)的功耗。圖4展示了谷歌數(shù)據(jù)中心的耗電量。顯而易見，設(shè)計出具備更高能效CPU的SoC是至關(guān)重要的，多家SoC初創(chuàng)公司都公開宣傳其AI處理器其的高效性，并聲稱可以解決這一問題。但是，整體的系統(tǒng)性能還應該將片外內(nèi)存計算在內(nèi)，比如DRAM的功耗往往占總功耗的18%。由于HBM的pJ/bit冠絕群雄，所以在設(shè)計中采用更低功耗的HBM越來越普遍。

圖4：谷歌數(shù)據(jù)中心耗電量

回到性能的話題上來，在討論更為廣泛的SoC系統(tǒng)時，AI加速器的片上競爭點很明顯，往往都是如何在每一代產(chǎn)品中集成比競品更多的SRAM和緩存。例如，英偉達等市場主導者會積極采用最新的工藝技術(shù)，每一代產(chǎn)品都集成了更大的二級緩存和更高的全局SRAM密度，以獲得AI負載下更高的性能。

針對AI負載進行芯片設(shè)計的額外的挑戰(zhàn)

? ? 當針對AI負載進行芯片設(shè)計時，還有幾個因素是需要納入考量的。其中一個老生常談的問題是內(nèi)存帶寬。許多AI SoC芯片供應商將內(nèi)存帶寬作為關(guān)鍵的性能指標。然而，內(nèi)存帶寬還需要結(jié)合更多因素來看。比如，從全局內(nèi)存訪問數(shù)據(jù)所需的周期數(shù)可能是二級緩存的 1.9倍，而二級緩存所需的周期數(shù)幾乎是一級緩存的6倍，以下數(shù)據(jù)來源于英偉達Ampere GPU的測試數(shù)據(jù)。

全局內(nèi)存訪問（最高80GB）：~380周期

L2緩存：~200周期

L1緩存或共享內(nèi)存訪問（每個流處理器最高128kb）：~34周期

乘加運算，a*b+c（FFMA）：4周期

向量核心矩陣乘法運算：1周期

因此，要想提高這些負載的性能，在前幾代系統(tǒng)中進一步提高L1和L2緩存就非常重要了。對于具有大規(guī)模處理并行性的AI計算負載而言，提高接近處理單元的緩存密度是最高效的設(shè)計改進之一。 片上系統(tǒng)內(nèi)存優(yōu)化的另一種方法則涉及AI算法相關(guān)的特定知識。例如，根據(jù)這些AI算法的最大中間激活值來設(shè)計本地內(nèi)存。這就消除了片上傳輸數(shù)據(jù)的瓶頸。這種方法更適合用于邊緣側(cè)，因為軟硬件協(xié)同設(shè)計將決定效率的高低?？上У氖?，這就需要對終端應用有著足夠深入的了解。同樣，這類系統(tǒng)的建?？稍谔岣哂布阅苌习l(fā)揮關(guān)鍵作用，而新思恰好在為開發(fā)者提供解決方案上具備得天獨厚的優(yōu)勢。

下一輪創(chuàng)新的側(cè)重點是什么？

? ? 我們已經(jīng)討論了采用DDR/LDDRP和HBM等片外內(nèi)存接口來提高內(nèi)存帶寬，但這些技術(shù)還無法跟上芯片內(nèi)集成的AI處理器算力。片外內(nèi)存的發(fā)展差距正在明顯地擴大。Meta在近年的一次OCP峰會上指出了這一趨勢（圖5）。

圖5：不斷增加的片外內(nèi)存性能差距

接口 IP 標準最近在下一代標準的進步方面有所上升，以跟上這種性能差距。例如，下一代標準接口通常每四年發(fā)布一次，最近又加快到每兩年發(fā)布一次。AI和安全工作負載的出現(xiàn)有助于更快地采用下一代技術(shù)。

圖6：下一代標準的發(fā)布速度逐漸加快，用于補全性能差距。

處理單元與內(nèi)存的差距不僅體現(xiàn)在片外內(nèi)存的進步上，也體現(xiàn)在了片上內(nèi)存的革新上。仔細觀察工藝節(jié)點的演進，我們可以發(fā)現(xiàn)三類持續(xù)創(chuàng)新（表1）

先進晶圓代工廠（如臺積電）每一代處理器的最高頻率都在提升，且他們開發(fā)的16nm、7nm、3nm等工藝節(jié)點也在逐漸提高性能

每個工藝節(jié)點的功耗都會降低25%以上

更高的邏輯密度意味著每mm2上可集成更多的處理器，如下表所示，其密度增加了40%以上。

表1.工藝節(jié)點演進帶來的革新

然而，正在放緩的創(chuàng)新是代工廠提供的片上SRAM/緩存等的密度改進。規(guī)模的削減可能已經(jīng)放緩。這種減慢甚至表明，從5nm節(jié)點遷移到3nm節(jié)點可能會看到SRAM密度的輕微降低或沒有降低。這給未來的計算帶來了一個問題，因為人工智能工作負載需要每個處理元素更高效、更高密度的內(nèi)存。新思科技專注于這一市場挑戰(zhàn)，以確保在每個節(jié)點遷移時提高內(nèi)存的密度。

除了改善片上內(nèi)存之外，改善這種計算與內(nèi)存比的另一種方法是在分布式計算和內(nèi)存系統(tǒng)架構(gòu)中擴展這些片上存儲。為了提高性能，未來的架構(gòu)必須利用多芯片系統(tǒng)，以滿足單個芯片上正確的處理器和內(nèi)存比的需求，并將該性能擴展到復雜系統(tǒng)中的多芯片系統(tǒng)中。

UCIe和XSR標準的出現(xiàn)，填補了連接多個裸片擴展性能的可靠標準方案空白。AI加速器產(chǎn)業(yè)幾乎都在這類負載中用到了die-to-die互聯(lián)技術(shù)。UCIe是一種標準的并行die-to-die接口，在目前性能領(lǐng)先的multi-die系統(tǒng)中，UCIe正迅速成為主流接口。最重要的是，這些die-to-die互聯(lián)標準已經(jīng)普及到了嵌入式內(nèi)存，性能明顯優(yōu)于供特定處理單元訪問的外部內(nèi)存。這也是各大企業(yè)競相角逐性能最高密度最高的嵌入式內(nèi)存陣列的原因，即為了滿足未來持續(xù)增長的負載需求。 性能顯然是下一代單片SoC和多芯片（multi-die）系統(tǒng)架構(gòu)創(chuàng)新的主要驅(qū)動力。

為了進一步提高性能，業(yè)界開發(fā)出了獨特而創(chuàng)新的AI處理器。未來的工藝節(jié)點為實現(xiàn)更高的處理單元密度提供了可能，所以性能的提升不可避免。然而，內(nèi)存性能也必須得到提升。最高效的內(nèi)存永遠是那些布局臨近處理單元的。為了更好地擴展這些未來SoC的性能，除了靠新接口IP標準提高帶寬外，還將利用multi-die系統(tǒng)架構(gòu)。下一代接口IP比如HBM3和UCIe等都將用于提高帶寬，但創(chuàng)新型的嵌入式內(nèi)存同樣不可或缺，以便在每一代工藝節(jié)點上擴展性能。

結(jié)語

多芯片系統(tǒng)（Multi-Die System）是業(yè)界熱度最高的話題之一。然而，要想滿足當下AI與安全負載需求，解決內(nèi)存技術(shù)挑戰(zhàn)必將推動下一代SoC架構(gòu)的創(chuàng)新。隨著工藝節(jié)點的演進，這些架構(gòu)需要更高的性能和更高的內(nèi)存密度。如果內(nèi)存的擴展速度慢于處理單元，但負載卻要求更高的內(nèi)存密度，那么就必須打造顛覆性的內(nèi)存技術(shù)。一個明確的解決方案就是多芯片系統(tǒng)（Multi-Die System），充分利用更多高帶寬和高密度的片上內(nèi)存。這些內(nèi)存與IO創(chuàng)新將得到快速應用，以滿足未來負載的需求，并為即將到來的行業(yè)革新帶來機遇。