基于Transformer多模態(tài)先導(dǎo)性工作

多模態(tài)（Multimodality）是指在信息處理、傳遞和表達(dá)中涉及多種不同的感知模態(tài)或信息來(lái)源。這些感知模態(tài)可以包括語(yǔ)言、視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等，它們共同...

2023-08-21 標(biāo)簽：數(shù)據(jù)人工智能Transformer 1182 0

如何使用TPU-MLIR進(jìn)行模型轉(zhuǎn)換

TPU-MLIR之精度驗(yàn)證

2023-08-21 標(biāo)簽：網(wǎng)絡(luò)數(shù)據(jù)集模型轉(zhuǎn)換 1138 0

AIGC時(shí)代軟件測(cè)試智能化到底會(huì)怎樣？

AI技術(shù)在軟件測(cè)試領(lǐng)域的應(yīng)用比軟件開(kāi)發(fā)早。

2023-08-03 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)GUIai技術(shù) 1907 0

適用于各種NLP任務(wù)的開(kāi)源LLM的finetune教程~

ChatGLM2-6b是清華開(kāi)源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調(diào)，是目前社區(qū)非?；钴S的一個(gè)開(kāi)源LLM。

2023-07-24 標(biāo)簽：LoRa模塊nlpprompt 2065 0

谷歌新作SPAE：GPT等大語(yǔ)言模型可以通過(guò)上下文學(xué)習(xí)解決視覺(jué)任務(wù)

這篇論文揭示了 PaLM 或 GPT 在通過(guò)上下文學(xué)習(xí)解決視覺(jué)任務(wù)方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標(biāo)簽：語(yǔ)言模型GPTnlp 1620 0

機(jī)器翻譯研究進(jìn)展

機(jī)器翻譯使用計(jì)算機(jī)將一種語(yǔ)言翻譯成另一種語(yǔ)言，具有低成本、高效率和高翻譯質(zhì)量等優(yōu)勢(shì)，在語(yǔ)音翻譯、同聲傳譯自動(dòng)化等許多領(lǐng)域得到廣泛應(yīng)用。 隨著雙語(yǔ)語(yǔ)料庫(kù)的...

2023-07-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)smt 1279 0

基于交互環(huán)境的生成式預(yù)訓(xùn)練和指令微調(diào)方法

引言 距離上次的長(zhǎng)篇大論，已經(jīng)過(guò)去了半年有余。這段時(shí)間，對(duì)于AI業(yè)界甚至整個(gè)世界，都是驚心動(dòng)魄的。在這段時(shí)間里，最令人印象深刻的大事莫過(guò)于ChatGPT...

2023-06-19 標(biāo)簽：數(shù)據(jù)計(jì)算機(jī)視覺(jué)GPT 943 0

大模型參數(shù)高效微調(diào)技術(shù)原理綜述

神經(jīng)網(wǎng)絡(luò)包含很多全連接層，其借助于矩陣乘法得以實(shí)現(xiàn)，然而，很多全連接層的權(quán)重矩陣都是滿秩的。

2023-06-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)SVD電源優(yōu)化器 2948 0

In-Context-Learning在更大的語(yǔ)言模型上表現(xiàn)不同

最近，在語(yǔ)言模型領(lǐng)域取得了巨大的進(jìn)展，部分是因?yàn)樗鼈兛梢酝ㄟ^(guò)In-Context- Learning ( ICL)來(lái)完 成各種復(fù)雜的任務(wù)。

2023-06-12 標(biāo)簽：Palmiclnlp 1060 0

大模型LLM領(lǐng)域，有哪些可以作為學(xué)術(shù)研究方向？

隨著全球大煉模型不斷積累的豐富經(jīng)驗(yàn)數(shù)據(jù)，人們發(fā)現(xiàn)大模型呈現(xiàn)出很多與以往統(tǒng)計(jì)學(xué)習(xí)模型、深度學(xué)習(xí)模型、甚至預(yù)訓(xùn)練小模型不同的特性，耳熟能詳?shù)娜鏔ew/Zer...

2023-05-29 標(biāo)簽：深度學(xué)習(xí)自然語(yǔ)言處理nlp 1718 0

時(shí)下改變AI的6大NLP語(yǔ)言模型

消除早期語(yǔ)言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標(biāo)簽：語(yǔ)言模型nlp 1124 0

LangChain簡(jiǎn)介

對(duì) ChatGPT 等應(yīng)用著迷？想試驗(yàn)他們背后的模型嗎？甚至開(kāi)源/免費(fèi)模型？不要再觀望……LangChain 是必經(jīng)之路……

2023-05-22 標(biāo)簽：機(jī)器人nlpChatGPT 8979 0

LlamaIndex：面向QA系統(tǒng)的全新文檔摘要索引

添加關(guān)鍵字過(guò)濾器是增強(qiáng)檢索結(jié)果的一種方法。但這也帶來(lái)了一系列挑戰(zhàn)。我們需要手動(dòng)或通過(guò) NLP 關(guān)鍵字提取/主題標(biāo)記模型為每個(gè)文檔充分確定合適的關(guān)鍵字。此...

2023-05-12 標(biāo)簽：代碼語(yǔ)言模型nlp 1650 0

如何通過(guò)一個(gè)簡(jiǎn)單的方法來(lái)解鎖大型語(yǔ)言模型的推理能力？

近來(lái)NLP領(lǐng)域由于語(yǔ)言模型的發(fā)展取得了顛覆性的進(jìn)展，擴(kuò)大語(yǔ)言模型的規(guī)模帶來(lái)了一系列的性能提升，然而單單是擴(kuò)大模型規(guī)模對(duì)于一些具有挑戰(zhàn)性的任務(wù)來(lái)說(shuō)是不夠的

2023-05-10 標(biāo)簽：機(jī)器學(xué)習(xí)MDAGPT 2549 0

詳解ChatGPT的預(yù)訓(xùn)練模型成長(zhǎng)史

PFMs能在nlp中盛行起來(lái)，得益于能它同時(shí)對(duì)單詞的句法和語(yǔ)義表示進(jìn)行建模，并根據(jù)不同的輸入動(dòng)態(tài)改變多義詞的表示上下文。PFM能學(xué)習(xí)豐富的語(yǔ)法和語(yǔ)義推理...

2023-04-25 標(biāo)簽：gpunlp半監(jiān)督學(xué)習(xí) 1316 0

知識(shí)橋接的因果交互網(wǎng)絡(luò)（KBCIN）

另一方面，根據(jù)Moors等人[8],人類的感覺(jué)和行動(dòng)傾向是情緒的兩個(gè)重要組成部分，并在很大程度上為目標(biāo)情緒的產(chǎn)生提供了潛在的因果線索。為此，社會(huì)交互CS...

2023-04-23 標(biāo)簽：數(shù)據(jù)集自然語(yǔ)言處理nlp 1265 0