邱錫鵬團(tuán)隊(duì)提出SpeechGPT：具有內(nèi)生跨模態(tài)能力的大語(yǔ)言模型

雖然現(xiàn)有的級(jí)聯(lián)方法或口語(yǔ)語(yǔ)言模型能夠感知和生成語(yǔ)音，但仍存在一些限制。首先，在級(jí)聯(lián)模型中，LLM 僅充當(dāng)內(nèi)容生成器。由于語(yǔ)音和文本的表示沒(méi)有對(duì)齊，LLM...

2023-05-22 標(biāo)簽：模態(tài)語(yǔ)言模型數(shù)據(jù)集 996 0

Allen AI推出集成主流大語(yǔ)言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來(lái)自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語(yǔ)言模型 983 0

Medusa如何加速大型語(yǔ)言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型LLM 976 0

基于多任務(wù)預(yù)訓(xùn)練模塊化提示

Prompt Tuning 可以讓預(yù)訓(xùn)練的語(yǔ)言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多的時(shí)候，Prompt Tuning 的微調(diào)結(jié)果可以媲...

2023-06-20 標(biāo)簽：模塊數(shù)據(jù)語(yǔ)言模型 971 0

大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息

? 大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息？這一問(wèn)題在計(jì)算機(jī)科學(xué)和自然語(yǔ)言處理領(lǐng)域一直存在爭(zhēng)議。然而，MIT的一項(xiàng)新研究表明，僅基于文...

2023-05-25 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型自然語(yǔ)言 969 0

基于Llama2和OpenVIN打造聊天機(jī)器人

Llama 2是 Meta 發(fā)布了其最新的大型語(yǔ)言模型，Llama2 是基于 Transformer 的人工神經(jīng)網(wǎng)絡(luò)，以一系列單詞作為輸入，遞歸地預(yù)測(cè)下...

2023-08-06 標(biāo)簽：英特爾神經(jīng)網(wǎng)絡(luò)AI 967 0

ToolLLM：促進(jìn)大型語(yǔ)言模型掌握16000+真實(shí)世界的APIs

盡管開(kāi)源大語(yǔ)言模型 (LLM) 及其變體（例如 LLaMA 和 Vicuna）取得了進(jìn)步，但它們?cè)趫?zhí)行更高級(jí)別的任務(wù)方面仍然受到很大限制，例如遵循人類指...

2023-08-02 標(biāo)簽：數(shù)據(jù)開(kāi)源語(yǔ)言模型 966 0

蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

為了解決大型模型的這個(gè)問(wèn)題，部署者往往采用小一些的特定模型來(lái)替代。這些小一點(diǎn)的模型用常見(jiàn)范式 —— 微調(diào)或是蒸餾來(lái)進(jìn)行訓(xùn)練。微調(diào)使用下游的人類注釋數(shù)據(jù)升...

2023-05-15 標(biāo)簽：人工智能語(yǔ)言模型自然語(yǔ)言 951 0

無(wú)監(jiān)督域自適應(yīng)場(chǎng)景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識(shí)遷移

本文對(duì)比了多種基線方法，包括無(wú)監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對(duì)抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標(biāo)簽：解碼器編碼器語(yǔ)言模型 932 0

Falcon-7B大型語(yǔ)言模型在心理健康對(duì)話數(shù)據(jù)集上使用QLoRA進(jìn)行微調(diào)

使用領(lǐng)域適應(yīng)技術(shù)對(duì)預(yù)訓(xùn)練LLM進(jìn)行微調(diào)可以提高在特定領(lǐng)域任務(wù)上的性能。但是，進(jìn)行完全微調(diào)可能會(huì)很昂貴，并且可能會(huì)導(dǎo)致CUDA內(nèi)存不足錯(cuò)誤。當(dāng)進(jìn)行完全微調(diào)...

2023-09-19 標(biāo)簽：模型語(yǔ)言模型數(shù)據(jù)集 855 0

號(hào)稱「碾壓」LLaMA的Falcon實(shí)測(cè)得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開(kāi)源的大型語(yǔ)言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過(guò)了 GPT-3（1...

2023-06-11 標(biāo)簽：解碼器語(yǔ)言模型 848 0

爆火Llama 2一周請(qǐng)求下載超15萬(wàn)，有人開(kāi)源了Rust實(shí)現(xiàn)版本

隨著 Llama 2 的逐漸走紅，大家對(duì)它的二次開(kāi)發(fā)開(kāi)始流行起來(lái)。前幾天，OpenAI 科學(xué)家 Karpathy 利用周末時(shí)間開(kāi)發(fā)了一個(gè)明星項(xiàng)目 lla...

2023-08-02 標(biāo)簽：開(kāi)源語(yǔ)言模型Rust 838 0

FPGA加速器支撐ChatGPT類大語(yǔ)言模型創(chuàng)新

作者：Bill Jenkins，Achronix人工智能/機(jī)器學(xué)習(xí)產(chǎn)品營(yíng)銷總監(jiān) 探索FPGA加速語(yǔ)言模型如何通過(guò)更快的推理、更低的延遲和更好的語(yǔ)言理解來(lái)...

2023-09-04 標(biāo)簽：fpga人工智能語(yǔ)言模型 838 0

基于預(yù)訓(xùn)練模型和語(yǔ)言增強(qiáng)的零樣本視覺(jué)學(xué)習(xí)

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會(huì)讓模型能力進(jìn)一步提升 怎么讓能力更好？可以引入其他知識(shí)，即其他的預(yù)訓(xùn)練模型，...

2023-06-15 標(biāo)簽：語(yǔ)言模型訓(xùn)練模型 837 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標(biāo)簽：語(yǔ)言模型語(yǔ)法LLM 806 0