基于大語言模型辯論的多智能體協(xié)作推理分析

具體來說，我們以多項選擇的常識推理作為示例任務，因為常識推理任務是一類可能性 (plausible) 的任務，每個答案都是可能成立的，只是正確答案成立的...

2023-11-29 標簽：語言模型智能體ChatGPT 2180 1

大型語言模型的邏輯推理能力探究

最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準，包含1...

2023-11-23 標簽：語言模型自然語言ChatGPT 1492 0

Scaling Law大模型設計實操案例

縱軸是"Bits for words", 這也是交叉熵的一個單位。在計算交叉熵時，如果使用以 2 為底的對數(shù)，交叉熵的單位就是 &q...

2023-11-22 標簽：語言模型GPTOpenAI 1114 0

基于顯式證據(jù)推理的few-shot關系抽取CoT

最近，上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標簽：語言模型nlpLLM 1358 0

怎樣讓PPO訓練更穩(wěn)定？早期人類征服RLHF的馴化經(jīng)驗

盡管魯迅先生曾言：真的強化敢于直面慘淡的結果，敢于正視崩壞的曲線。但日復一復地開盲盒難免會讓人心臟承受不了，好在前人們留下了寶貴的馴化經(jīng)驗，今天讓我們一...

2023-11-16 標簽：噪聲語言模型LLM 1174 0

基于檢索的大語言模型簡介

簡介章節(jié)講的是比較基礎的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標簽：語言模型LLM 1079 0

LLM作用下的成分句法分析基礎研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預...

2023-11-10 標簽：語言模型語法LLM 795 0

探究編輯多模態(tài)大語言模型的可行性

不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點依然從單模態(tài)模型編輯入手，將單模態(tài)模型編輯拓展到多模態(tài)模型編輯，主要從以下三個方面...

2023-11-09 標簽：編碼器語言模型OpenAI 762 0

Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標簽：語言模型亞馬遜LLM 1293 0

探索SFT訓練策略對性能的影響

大模型混合多種能力項數(shù)據(jù)進行微調時，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調特定能力數(shù)據(jù)，在第二階段微調通用數(shù)據(jù)+少量...

2023-10-26 標簽：數(shù)據(jù)語言模型SFT 1755 0

揭秘編碼器與解碼器語言模型

Transformer 架構的問世標志著現(xiàn)代語言大模型時代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標簽：解碼器編碼器語言模型 1218 0

基于PyTorch的模型并行分布式訓練Megatron解析

NVIDIA Megatron 是一個基于 PyTorch 的分布式訓練框架，用來訓練超大Transformer語言模型，其通過綜合應用了數(shù)據(jù)并行，Te...

2023-10-23 標簽：NVIDIA源碼模型 4112 0

開源LLEMMA發(fā)布：超越未公開的頂尖模型，可直接應用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準測試上創(chuàng)下了新高，甚至超越了某些還未對外公開的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標簽：模型語言模型python 1098 0

在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個方面大放光彩，由此引發(fā)了學術界和商業(yè)界對 G...

2023-10-22 標簽：語言模型ChatGPT大模型 758 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標定位的任務上實現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個視覺定位文本理解任務和...

2023-10-20 標簽：編碼器語言模型大模型 2761 0

高性能計算與多模態(tài)處理的探索之旅：英偉達GH200性能優(yōu)化與GPT-4V的算力加速未來

隨著人工智能技術的不斷發(fā)展，多模態(tài)大模型成為越來越重要的發(fā)展趨勢。GPT-4V（GPT-4 近日開放的視覺模態(tài)）大型多模型（LMMs）擴展大型語言模型（...

2023-10-19 標簽：人工智能語言模型英偉達 1539 0

CPU后端和CUDA后端的執(zhí)行代碼和效果

下面展示一下在 https://github.com/BBuf/RWKV-World-HF-Tokenizer 做的自定義實現(xiàn)的RWKV world t...

2023-10-16 標簽：人工智能語言模型數(shù)據(jù)集 1293 0