探索ChatGPT模型的人工智能語言模型

最大的區(qū)別ChatGPT是通過對話數(shù)據進行預訓練，而不僅僅是通過單一的句子進行預訓練，這使得ChatGPT能夠更好地理解對話的上下文，并進行連貫的回復。

2024-04-24 標簽：編碼器人工智能語言模型 1028 0

深度探討VLMs距離視覺演繹推理還有多遠？

通用大型語言模型（LLM）推理基準：研究者們介紹了多種基于文本的推理任務和基準，用于評估LLMs在不同領域（如常識、數(shù)學推理、常識推理、事實推理和編程）...

2024-03-19 標簽：語言模型大模型 558 0

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統(tǒng)（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數(shù)據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標簽：數(shù)據庫語言模型知識圖譜 1665 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產生幻象的傾向。本文構建了幻象評測基準HaluEval 2.0，并基于該評測框架從預訓練/有監(jiān)...

2024-01-19 標簽：開源語言模型自然語言處理 800 0

專補大模型短板的RAG有哪些新進展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會產生誤導性的 “幻覺”，依賴的信息可能過時，處理特定知識時效率不高，缺乏專業(yè)領域的深...

2024-01-17 標簽：人工智能語言模型大模型 1486 0

三步完成在英特爾獨立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學 KEG 實驗室聯(lián)合發(fā)布的新一代對話預訓練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標簽：英特爾語言模型LLM 2189 0

如何利用位置編碼實現(xiàn)長度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結合他們對RoPE的波長的觀察，存在一...

2024-01-08 標簽：語言模型Transformer位置編碼器 730 0

基于LLM的表格數(shù)據的大模型推理綜述

面向表格數(shù)據的推理任務，在計算機領域，特別是自然語言處理（Natural Language Processing，NLP）領域的研究中扮演著重要角色[1...

2024-01-08 標簽：SQL語言模型大模型 2178 0

模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調對模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力，遠遠優(yōu)于先前的BERT等預訓練模型（PLM）。

2024-01-04 標簽：PLM語言模型LLM 783 0

大語言模型推斷中的批處理效應

隨著開源預訓練大型語言模型（Large Language Model, LLM ）變得更加強大和開放，越來越多的開發(fā)者將大語言模型納入到他們的項目中。其...

2024-01-04 標簽：語言模型機器學習LoRa 1052 0

語言模型的弱監(jiān)督視頻異常檢測方法

LGT Adapter由局部關系Transformer和全局關系圖卷積串聯(lián)組成?？紤]到常規(guī)的Transformer在長時視頻時序關系建模時冗余信息較多、...

2024-01-02 標簽：適配器語言模型Clip 1390 0

一文速覽大語言模型提示最新進展

盡管基本的CoT提示策略在復雜推理任務中展示出了強大的能力，但它仍然面臨著一些問題，比如推理過程存在錯誤和不穩(wěn)定等。因此，一系列的研究通過增強的提示方法...

2023-12-27 標簽：生成器語言模型自然語言處理 991 0

谷歌Gemini模型AI網絡及TPU拆解

Gemini 是一款新型的多模態(tài)大語言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時是采用分別訓練分別輸出再進行拼接的方式，這種方式的缺...

2023-12-14 標簽：谷歌GeminiAI 1710 0

大規(guī)模語言模型的基本概念、發(fā)展歷程和構建流程

大規(guī)模語言模型（Large Language Models，LLM），也稱大規(guī)模語言模型或大型語言模型，是一種由包含數(shù)百億以上參數(shù)的深度神經網絡構建的語...

2023-12-07 標簽：人工智能語言模型華為云 5704 0

計算機視覺迎來GPT時刻！UC伯克利三巨頭祭出首個純CV大模型！

在損失函數(shù)上，研究者從自然語言社區(qū)汲取靈感，即掩碼 token 建模已經「讓位給了」序列自回歸預測方法。一旦圖像、視頻、標注圖像都可以表示為序列，則訓練...

2023-12-05 標簽：圖像計算機視覺語言模型 1114 0

無監(jiān)督域自適應場景：基于檢索增強的情境學習實現(xiàn)知識遷移

本文對比了多種基線方法，包括無監(jiān)督域自適應的傳統(tǒng)方法（如Pseudo-labeling和對抗訓練）、基于檢索的LM方法（如REALM和RAG）和情境學習...

2023-12-05 標簽：解碼器編碼器語言模型 931 0