中文對(duì)話(huà)式大語(yǔ)言模型Firefly-2b6開(kāi)源，使用210萬(wàn)訓(xùn)練數(shù)據(jù)

在本文中，我們將對(duì)該模型進(jìn)行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生成能力取得了較大的進(jìn)步，并且在古詩(shī)詞生成、對(duì)聯(lián)、作文...

2023-04-14 標(biāo)簽：模型代碼語(yǔ)言模型 2013 0

Dolly 2.0發(fā)布，首個(gè)真正開(kāi)放、可商用的指令調(diào)優(yōu)LLM

Dolly 2.0 是一個(gè)基于 EleutherAI pythia 模型系列的 12B 參數(shù)語(yǔ)言模型，并在透明且免費(fèi)提供的數(shù)據(jù)集上進(jìn)行了微調(diào)；該數(shù)據(jù)集稱(chēng)...

2023-04-14 標(biāo)簽：人工智能語(yǔ)言模型數(shù)據(jù)集 2038 0

GPT模型成功的背后用到了哪些以數(shù)據(jù)為中心的人工智能技術(shù)？

正所謂「大力出奇跡」，把參數(shù)量調(diào)「大」能提高模型性能已經(jīng)成為了大家的普遍共識(shí)。但是僅僅增加模型參數(shù)就夠了嗎？仔細(xì)閱讀GPT的一系列論文后就會(huì)發(fā)現(xiàn)，僅僅增...

2023-04-06 標(biāo)簽：人工智能語(yǔ)言模型GPT 1579 0

五大使用場(chǎng)景、五大能力文心一言將革新生產(chǎn)力工具

百度同時(shí)公布了文心一言的邀請(qǐng)測(cè)試方案。3月16日起，首批用戶(hù)即可通過(guò)邀請(qǐng)測(cè)試碼，在文心一言官網(wǎng)體驗(yàn)產(chǎn)品，后續(xù)將陸續(xù)開(kāi)放給更多用戶(hù)。此外，百度智能云即將面...

2023-03-17 標(biāo)簽：AI智能化語(yǔ)言模型 960 0

哈工大張民：ChatGPT之后，NLP還有12個(gè)待解決命題

首先來(lái)講什么是ChatGPT。第一點(diǎn)，ChatGPT做的事就是使機(jī)器像人一樣與人對(duì)話(huà)、交流。自然語(yǔ)言是人類(lèi)交流最方便、最重要的媒介，語(yǔ)言是用來(lái)描述知識(shí)和...

2023-03-08 標(biāo)簽：語(yǔ)言模型nlpChatGPT 1096 0

LeCun新作：全面綜述下一代「增強(qiáng)語(yǔ)言模型」

最近圖靈獎(jiǎng)得主Yann LeCun參與撰寫(xiě)了一篇關(guān)于「增強(qiáng)語(yǔ)言模型」的綜述，回顧了語(yǔ)言模型與推理技能和使用工具的能力相結(jié)合的工作，并得出結(jié)論，這個(gè)新的研...

2023-03-03 標(biāo)簽：語(yǔ)言模型nlpChatGPT 1283 0

復(fù)旦邱錫鵬團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類(lèi)ChatGPT模型MOSS

由于ChatGPT并未開(kāi)源，其技術(shù)方案細(xì)節(jié)也未公開(kāi)，科研人員對(duì)此有諸多猜測(cè)。有專(zhuān)家認(rèn)為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無(wú)法由單一的生成式語(yǔ)言模型實(shí)...

2023-03-01 標(biāo)簽：人工智能語(yǔ)言模型ChatGPT 1316 0

ChatGPT“狂飆”之路背后的存儲(chǔ)挑戰(zhàn)

就在不久前，北京市經(jīng)濟(jì)和信息化局發(fā)布的《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書(shū)》中明確提出“支持頭部企業(yè)打造對(duì)標(biāo)ChatGPT的大模型，著力構(gòu)建開(kāi)源框架和...

2023-02-27 標(biāo)簽：AI語(yǔ)言模型ChatGPT 2345 0

ChatGPT火爆，最全prompt工程指南登GitHub熱榜，標(biāo)星4.7k！

如何才能讓大規(guī)模語(yǔ)言模型輸出自己想要的結(jié)果？現(xiàn)在，一本超全超詳提示工程指南來(lái)了，GitHub已標(biāo)星4.7k。提示工程，可以說(shuō)是玩轉(zhuǎn)ChatGPT、DAL...

2023-02-27 標(biāo)簽：語(yǔ)言模型GitHubChatGPT 1688 0

LeCun和馬庫(kù)斯齊噴ChatGPT：大語(yǔ)言模型果然是邪路？

ChatGPT的出場(chǎng)，讓一場(chǎng)久違的科技盛宴開(kāi)席了。全世界的投資人都蠢蠢欲動(dòng)。微軟給OpenAI再投100億美元，國(guó)內(nèi)的投資人也一躍而起，摩拳擦掌。

2023-02-16 標(biāo)簽：搜索引擎語(yǔ)言模型ChatGPT 1182 0

ChatGPT已經(jīng)有9歲小孩的心智了

心智理論（Theory of Mind），簡(jiǎn)稱(chēng)ToM，是指人理解自己和周?chē)诵睦頎顟B(tài)的能力。我們也可以簡(jiǎn)單地理解為「同理心」。 正是因?yàn)橛型硇牡拇嬖冢?..

2023-02-14 標(biāo)簽：人工智能語(yǔ)言模型ChatGPT 1529 0

梯度人工智能平臺(tái)賦能業(yè)務(wù)加速

梯度科技基于Tensorflow、Pytorch、MindSpore等多種主流深度開(kāi)源框架和Ray的強(qiáng)化學(xué)習(xí)開(kāi)發(fā)框架研發(fā)的人工智能平臺(tái)，圍繞“云+AI”...

2023-02-13 標(biāo)簽：人工智能語(yǔ)言模型深度學(xué)習(xí) 1330 0

谷歌新作Dreamix：視頻擴(kuò)散模型是通用視頻編輯器，效果驚艷！

可以看到，視頻編輯比圖像編輯更加具有挑戰(zhàn)性，它需要合成新的動(dòng)作，而不僅僅是修改視覺(jué)外觀。此外還需要保持時(shí)間上的一致性。因此，將 SDEdit、Promp...

2023-02-09 標(biāo)簽：視頻編輯器語(yǔ)言模型 1880 0

Meta是如何構(gòu)建新人工智能CICERO的？

日前，我們宣布了一項(xiàng)突破性進(jìn)展，向著構(gòu)建掌握這些技能的人工智能邁進(jìn)了重要的一步。我們已經(jīng)構(gòu)建了一個(gè)代理 CICERO——這是第一個(gè)在時(shí)下流行的戰(zhàn)略游戲 ...

2023-01-16 標(biāo)簽：人工智能語(yǔ)言模型 946 0

如何用AI來(lái)寫(xiě)Verilog代碼？

可能現(xiàn)在它的功能還并不是很完善，但作為工程師，看到這么強(qiáng)大的功能，不禁有些感慨，我們的核心競(jìng)爭(zhēng)力是什么？如果真的有一天，AI可以幫我們寫(xiě)代碼了，我們?cè)撊プ鍪裁矗?/p>

2022-12-09 標(biāo)簽：VerilogAI語(yǔ)言模型 2611 0

AI再卷數(shù)學(xué)界，DSP新方法將機(jī)器證明成功率提高一倍

我們以語(yǔ)言模型 Minerva為例。當(dāng)在足夠多的數(shù)據(jù)訓(xùn)練之后，我們發(fā)現(xiàn)它的數(shù)學(xué)能力非常強(qiáng)，可以在高中數(shù)學(xué)測(cè)試中拿到高于平均分水平。然而這樣的語(yǔ)言模型也有...

2022-11-21 標(biāo)簽：人工智能語(yǔ)言模型自然語(yǔ)言處理 731 0

聚焦“源1.0”背后的計(jì)算挑戰(zhàn)以及我們采取的訓(xùn)練方法

“源1.0”是一個(gè)典型的語(yǔ)言模型。語(yǔ)言模型通俗來(lái)講就是能夠完成自然語(yǔ)言理解或者生成文本的神經(jīng)網(wǎng)絡(luò)模型。對(duì)于“源1.0”，我們考慮語(yǔ)言模型（Languag...

2022-11-15 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)模型語(yǔ)言模型 970 0

從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)

為了解決這一問(wèn)題，本文主要從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的MLM預(yù)測(cè)任務(wù)、引入verblize類(lèi)別映射的Promp...

2022-11-14 標(biāo)簽：語(yǔ)言模型nlp 3439 0

CogBERT：腦認(rèn)知指導(dǎo)的預(yù)訓(xùn)練語(yǔ)言模型

另一方面，從語(yǔ)言處理的角度來(lái)看，認(rèn)知神經(jīng)科學(xué)研究人類(lèi)大腦中語(yǔ)言處理的生物和認(rèn)知過(guò)程。研究人員專(zhuān)門(mén)設(shè)計(jì)了預(yù)訓(xùn)練的模型來(lái)捕捉大腦如何表示語(yǔ)言的意義。之前的工...

2022-11-03 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集 1379 0

KT利用NVIDIA AI平臺(tái)訓(xùn)練大型語(yǔ)言模型

韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商構(gòu)建包含數(shù)百億個(gè)參數(shù)的大型語(yǔ)言模型，并使用 NVIDIA DGX SuperPOD 平臺(tái)和 NeMo Megatron 框架訓(xùn)練該模型。

2022-09-27 標(biāo)簽：NVIDIAAI語(yǔ)言模型 1595 0