基于雙級優(yōu)化（BLO）的消除過擬合的微調(diào)方法

這篇論文試圖解決的問題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進行微調(diào)時出現(xiàn)的過擬合問題。盡管低秩適應(yīng)（LoRA）及其變體通過學(xué)習低秩增量矩陣有效地減少了與完全微調(diào)...

2024-04-02 標簽：數(shù)據(jù)集LoRa自然語言 1109 0

字節(jié)跳動攻克GPU萬卡互聯(lián)技術(shù)突破與解決方案

在分布式訓(xùn)練中大規(guī)模使用默認的DCQCN協(xié)議時，all-to-all通信可能會導(dǎo)致?lián)砣蚉FC級別的提高。過度使用PFC可能會導(dǎo)致頭部阻塞（HoL），從...

2024-04-01 標簽：gpu人工智能網(wǎng)絡(luò)拓撲 1328 0

一文掌握AI大模型算力的核心要素

GPU和顯卡的關(guān)系，就像是CPU和主板的關(guān)系。前者是顯卡的心臟，后者是主板的心臟。有些小伙伴會把GPU和顯卡當成一個東西，其實還有些差別的，顯卡不僅包括...

2024-03-29 標簽：cpugpuAI 1619 0

FP8在NVIDIA GPU架構(gòu)和軟件系統(tǒng)中的應(yīng)用

在深度學(xué)習和人工智能的快速發(fā)展背景下，尤其是大語言模型（Large Language Model，LLM）的蓬勃發(fā)展，模型的大小和計算復(fù)雜性不斷增加，對...

2024-03-28 標簽：NVIDIA人工智能深度學(xué)習 2012 0

自然語言常用的自回歸解碼方法

在選擇k值時，較大的值會使生成的內(nèi)容更具多樣性，但可能會生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣性較低，但質(zhì)量更有保證。我們可以根據(jù)任務(wù)的不同選擇合...

2024-03-28 標簽：自然語言大模型 1246 0

盤點一下史上最全大語言模型訓(xùn)練中的網(wǎng)絡(luò)技術(shù)

人工智能的基礎(chǔ)設(shè)施在大語言模型訓(xùn)練和推理過程中發(fā)揮了關(guān)鍵的作用。隨著大語言模型規(guī)模不斷增大，其對計算和通信的需求也在不斷增加。高

2024-03-27 標簽：處理器人工智能網(wǎng)絡(luò)拓撲 2512 0

通過增強一致性訓(xùn)練，有效緩解CoT中的偏見問題

這些偏見特征可能導(dǎo)致模型在沒有明確提及這些偏見的情況下，系統(tǒng)性地歪曲其推理過程，從而產(chǎn)生不忠實（unfaithful）的推理。

2024-03-22 標簽：大模型 617 0

探索推理時KV Cache的動態(tài)內(nèi)存壓縮方法

DMC通過一個決策變量（α）來有效地對輸入序列進行分段，每個段落可以獨立地決定是繼續(xù)追加還是進行累積。這允許模型在不同段落之間動態(tài)調(diào)整內(nèi)存使用。

2024-03-22 標簽：AI動態(tài)內(nèi)存DMC 1281 0

深度探討VLMs距離視覺演繹推理還有多遠？

通用大型語言模型（LLM）推理基準：研究者們介紹了多種基于文本的推理任務(wù)和基準，用于評估LLMs在不同領(lǐng)域（如常識、數(shù)學(xué)推理、常識推理、事實推理和編程）...

2024-03-19 標簽：語言模型大模型 558 0

一種高效的KV緩存壓縮框架--GEAR

GEAR框架通過結(jié)合三種互補的技術(shù)來解決這一挑戰(zhàn)：首先對大多數(shù)相似幅度的條目應(yīng)用超低精度量化；然后使用低秩矩陣來近似量化誤差。

2024-03-19 標簽：GEAR大模型 654 0

揭秘大語言模型可信能力的五個關(guān)鍵維度

不同于上述工作從待干預(yù)模型自身抽取引導(dǎo)向量，我們意在從LLMs預(yù)訓(xùn)練過程的切片中構(gòu)建引導(dǎo)向量來干預(yù)指令微調(diào)模型（SFT Model），試圖提升指令微調(diào)模...

2024-03-15 標簽：線性分類器大模型 897 0

張宏江深度解析：大模型技術(shù)發(fā)展的八大觀察點

在大模型的發(fā)展史上，Scaling Law（規(guī)模律）發(fā)揮了核心作用，它是推動模型性能持續(xù)提升的主要動力。Scaling Law揭示了這樣一個現(xiàn)象：較小的...

2024-03-14 標簽：操作系統(tǒng)Agi自然語言處理 433 0

大模型微調(diào)開源項目全流程

對于所有“基座”（Base）模型，–template 參數(shù)可以是 default, alpaca, vicuna 等任意值。但“對話”（Chat）模型請...

2024-03-13 標簽：機器學(xué)習大模型 1469 0

OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應(yīng)用性能新路徑

作為主要面向 RAG 任務(wù)方向的框架，Semantic Kernel 可以簡化大模型應(yīng)用開發(fā)過程，而在 RAG 任務(wù)中最常用的深度學(xué)習模型就是 Embe...

2024-03-08 標簽：JAVAOpenAI大模型 1311 0

大語言模型（LLMs）如何處理多語言輸入問題

研究者們提出了一個框架來描述LLMs在處理多語言輸入時的內(nèi)部處理過程，并探討了模型中是否存在特定于語言的神經(jīng)元。

2024-03-07 標簽：神經(jīng)元自然語言大模型 1081 0

LLM中的大規(guī)模激活

篇論文主要研究了大型語言模型（LLMs）中的一個現(xiàn)象，即在模型的隱藏狀態(tài)中存在極少數(shù)激活值（activations）遠大于其他激活值的情況，這些被稱為“...

2024-03-01 標簽：大模型 842 0