一文詳解GPU硬件與CUDA開發(fā)工具

CPU 和 GPU 的顯著區(qū)別是：一個典型的 CPU 擁有少數(shù)幾個快速的計算核心，而一個典型的 GPU 擁有幾百到幾千個不那么快速的計算核心。

2024-03-21 標簽：gpuC語言編程語言 2013 0

深度解析Nvidia AI芯片發(fā)展藍圖

從時延角度來看，NVLink C2C采用40Gbps NRZ調(diào)制，可以實現(xiàn)無誤碼運行 （BER《1e-12），免除FEC，接口時延可以做到小于5ns。

2024-03-19 標簽：cpuNVIDIAgpu 1932 0

什么是隨機森林？隨機森林的工作原理

隨機森林使用名為“bagging”的技術，通過數(shù)據(jù)集和特征的隨機自助抽樣樣本并行構建完整的決策樹。雖然決策樹基于一組固定的特征，而且經(jīng)常過擬合，但隨機性...

2024-03-18 標簽：cpugpuAI 5052 0

Nvidia芯片工藝先進封裝演進洞察

根據(jù)IRDS的樂觀預測，未來5年，邏輯器件的制造工藝仍將快速演進，2025年會初步實現(xiàn)Logic器件的3D集成。TSMC和Samsung將在2025年左...

2024-03-15 標簽：cpuNVIDIAgpu 2603 0

大算力時代，關于內(nèi)存墻的應對方法

以Transformer架構為基礎的AI大模型導致了模型參數(shù)量激增，短短兩年間模型大小擴大了驚人的410倍，運算量更是激增了高達750倍。

2024-03-14 標簽：gpu內(nèi)存AI 630 0

聊一聊Transformer中的FFN

NLP上估計會幫助reduce overfitting, improve generalization，但是與其花時間改這個地方不如好好clean da...

2024-03-13 標簽：gpuTransformernlp 2584 0

深度解讀Nvidia AI芯片路線圖

Nvidia是一個同時擁有 GPU、CPU和DPU的計算芯片和系統(tǒng)公司。Nvidia通過NVLink、NVSwitch和NVLink C2C技術將CPU...

2024-03-13 標簽：cpuNVIDIAgpu 1457 0

為何GPU在AI訓練中不可或缺？

人工智能在早期誕生了一個“不甚成功”的流派，叫做“人工神經(jīng)網(wǎng)絡”。這個技術的思路是，人腦的智慧無與倫比，要實現(xiàn)高級的人工智能，模仿人腦就是不二法門。

2024-03-12 標簽：gpuAI人工智能 877 0

GPU CUDA 編程的基本原理是什么

神經(jīng)網(wǎng)絡能加速的有很多，當然使用硬件加速是最可觀的了，而目前除了專用的NPU（神經(jīng)網(wǎng)絡加速單元），就屬于GPU對神經(jīng)網(wǎng)絡加速效果最好了

2024-03-05 標簽：神經(jīng)網(wǎng)絡gpusram 1217 0

AI芯片架構誰將問鼎江湖？

Al算力對高效電源提出新需求，背面供電技術蓄勢待發(fā)：越來越高度化的集成會造成針對加速芯片的電源解決方案越來越復雜，方案需要不同電壓、不同路的多路輸入，這...

2024-03-05 標簽：gpu深度學習AI芯片 507 0

先進半導體封裝技術的革新與演進之路

基于熱壓鍵合（TCB）工藝的微泵技術已經(jīng)比較成熟，在各種產(chǎn)品中都一直在用。其技術路線在于不斷擴大凸點間距。

2024-03-04 標簽：處理器gpu半導體封裝 2032 0

什么是自動語音識別（ASR）？如何使用深度學習和GPU加速ASR

ASR 是自然語言中一項頗具挑戰(zhàn)性的任務，它由語音分割、聲學建模和語言建模等一系列子任務組成，根據(jù)噪聲和未分割的輸入數(shù)據(jù)形成預測（標簽序列）。

2024-02-28 標簽：NVIDIAgpuAI 7845 0

從基本原理到應用的SLAM技術深度解析

LSD-SLAM 即 Large-Scale Direct SLAM，兼容單目相機和雙目相機。LSD-SLAM是一種基于光流跟蹤的直接法SLAM，但是實...

2024-02-26 標簽：傳感器gpuSLAM 1.2萬 0

在AMD GPU上如何安裝和配置triton？

最近在整理python-based的benchmark代碼，反過來在NV的GPU上又把Triton裝了一遍，發(fā)現(xiàn)Triton的github repo已經(jīng)...

2024-02-22 標簽：amdgpuTriton 3628 0

FPGA與GPU在神經(jīng)網(wǎng)絡構建中的對比研究

嵌入式工程師常見的情況是在硬件加速器（如FPGA）和主機CPU之間建立通信。這項工作因其繁瑣和容易出錯而臭名昭著。

2024-02-22 標簽：fpgacpu神經(jīng)網(wǎng)絡 1147 0

基于Transformer模型的壓縮方法

基于Transformer架構的大型模型在人工智能領域中發(fā)揮著日益重要的作用，特別是在自然語言處理（NLP）和計算機視覺（CV）領域。

2024-02-22 標簽：變壓器編碼器gpu 1044 0

應用大模型提升研發(fā)效率的實踐與探索

對于模型訓練，我們可以采用 3D 并行訓練的方式來實現(xiàn)。將模型參數(shù)和梯度張量劃分為多個分區(qū)，分配到不同 GPU 卡上進行計算。每張卡負責自己分區(qū)的梯度和...

2024-02-22 標簽：gpu大模型 978 0

2023年工業(yè)視覺缺陷檢測經(jīng)驗分享

表面缺陷檢測任務是指通過對產(chǎn)品表面進行仔細的檢查和評估，以發(fā)現(xiàn)和識別任何不符合質(zhì)量標準或設計要求的表面缺陷。這項任務的目的是確保產(chǎn)品的外觀質(zhì)量和功能性滿...

2024-02-21 標簽：CMOSgpuNPU 1529 0