文心一言是什么？文心一言有哪些功能？

文心一言 *（英文名：ERNIE Bot）* 是百度全新一代知識增強大語言模型，文心大模型家族的新成員，能夠與人對話互動，回答問題，協(xié)助創(chuàng)作，高效便捷地...

2023-08-31 標簽：語言模型深度學習文心一言 59.7萬 0

華為AI盤古大模型與chatgpt，Mate 60 Pro接入盤古人工智能大模型

華為盤古大模型是華為公司最新推出的AI語言模型，該模型的命名取自中國神話中的盤古開天辟地的故事。該模型在2021年4月正式發(fā)布，是華為公司在人工智能領域...

2023-09-05 標簽：華為語言模型盤古大模型 8731 0

完成適配！曦云C500在智譜AI升級版大模型上充分兼容、高效穩(wěn)定運行

近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓練及通用計算GPU與北京智譜華章科技有限公司（下稱“智譜AI”）開源的...

2023-08-23 標簽：gpuAI語言模型 8393 0

一套新的自然語言處理（NLP）評估基準，名為 SuperGLUE

實現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務學習和語言模型預訓練展開，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 S...

2019-04-29 標簽：語言模型自然語言處理nlp 6503 0

谷歌再次發(fā)布BERT的多語言模型和中文模型

為了評估這些系統(tǒng)，我們使用了XNLI dataset，它是MultiNLI的一個版本，其中dev集和test集已經（由人類）翻譯成15種語言。需要注意的...

2018-11-08 標簽：谷歌語言模型機器翻譯 6361 0

OpenAI發(fā)布一款令人印象深刻的語言模型GPT-2

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大...

2019-05-17 標簽：AI語言模型機器學習 4792 0

GTP正式誕生，你的自媒體會發(fā)生什么變化？

GPT是一種人工智能模型，代表了“生成預訓練語言模型”的縮寫。GPT系列模型由OpenAI公司開發(fā)，采用了深度學習和自然語言處理技術，用于生成自然語言文本。

2023-05-11 標簽：人工智能語言模型GPT 4650 0

三星發(fā)布UFS 4.0 和UFS 5.0產品規(guī)劃，順序讀取速度提升至8GB/s

隨著端側人工智能的崛起，智能手機市場對UFS技術也提出更高要求?？紤]到大語言模型在未來的應用前景，提升UFS接口速度迫在眉睫。

2024-03-21 標簽：智能手機人工智能語言模型 4420 0

SuperGLUE正式上線：NLP模型們，來迎接挑戰(zhàn)吧！

GLUE全稱是通用語言理解評估（General Language Understanding Evaluation），基于已有的9種英文語言理解任務，涵...

2019-09-13 標簽：語言模型數(shù)據(jù)集nlp 4341 0

布朗大學90后研究生：我們復現(xiàn)了15億參數(shù)GPT-2模型，你也行！

本模型的實現(xiàn)基于Grover模型，并修改其代碼庫以匹配GPT-2的語言建模訓練目標。由于他們的模型是在類似的大型語料庫上進行訓練的，因此大部分代碼和超參...

2019-09-01 標簽：語言模型數(shù)據(jù)集 3601 0

Google科學家設計簡化稀疏架構Switch Transformer，語言模型的參數(shù)量可擴展至 1.6 萬億

剛剛，Google Brain 高級研究科學家 Barret Zoph 發(fā)帖表示，他們設計了一個名叫「Switch Transformer」的簡化稀疏架...

2021-01-13 標簽：Google架構語言模型 3444 0

從預訓練語言模型看MLM預測任務

為了解決這一問題，本文主要從預訓練語言模型看MLM預測任務、引入prompt_template的MLM預測任務、引入verblize類別映射的Promp...

2022-11-14 標簽：語言模型nlp 3438 0

Multilingual多語言預訓練語言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預訓練多語言模型，...

2022-05-05 標簽：語言模型數(shù)據(jù)集nlp 3400 0

OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型，15.58億的完整模型也有望于幾個月內發(fā)布，并將GPT-2這6個月的進展情況在博客上...

2019-09-01 標簽：語言模型數(shù)據(jù)集nlp 3229 0

同濟大學發(fā)布首個“知識大模型”CivilGPT，深化教育教學數(shù)字化轉型

該大模型由同濟大學獨立研發(fā)，通過構建高質量的語料庫并利用千億級別的基礎模型進行訓練，成功打造了首個具備土木工程專業(yè)知識的垂直領域大模型，為工程教育和科研...

2024-05-28 標簽：人工智能語言模型大模型 3111 0

如何進行MLM訓練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預訓練模型中，這一策略通常被替換成了動態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標簽：模型語言模型mask 3067 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預訓練語言模型借助于針對特定任務設計的prompt（無論是few shot還是zero shot），在單步驟的system-1任務上有著出色表現(xiàn)，...

2022-06-15 標簽：自動化語言模型 2910 0