Project CodeNet?是由 IBM?推出的一個用于推進(jìn) AI 對代碼的理解和翻譯的開源數(shù)據(jù)集。旨在為 AI-for-Code 研究界提供一個大規(guī)模、多樣化和高質(zhì)量的數(shù)據(jù)集，以推動 AI 技術(shù)的創(chuàng)新。

Project CodeNet 有很多特點(diǎn)（大規(guī)模、多樣性等），與 ImageNet 相似（ImageNet 是一個巨大的圖像數(shù)據(jù)集，對計算機(jī)視覺研究領(lǐng)域產(chǎn)生了巨大的影響）。Project CodeNet 是一個大規(guī)模的數(shù)據(jù)集，有大約 1400 萬個代碼樣本，每個樣本都是 4000 個編碼問題中的一個預(yù)期解決方案。Project CodeNet 的目標(biāo)是為代碼的人工智能做一些 ImageNet 為計算機(jī)視覺所做的事情。

Project CodeNet 有幾個不一樣的特點(diǎn)。除了數(shù)據(jù)集的規(guī)模之外，代碼樣本是用 50 多種編程語言編寫的，主要語言是 C++、C、Python 和 Java。Project CodeNet 中的代碼樣本都有豐富的注釋信息，如代碼大小、內(nèi)存占用、CPU 運(yùn)行時間和狀態(tài)，表示接受或錯誤類型。

90% 以上的問題都有相應(yīng)的問題描述，其中包含了簡潔的問題陳述、輸入格式和輸出格式的說明。如果可用，官方還從問題描述中提取了輸入和輸出的樣本，并將其作為數(shù)據(jù)集的一部分。用戶可以執(zhí)行被接受的代碼樣本（超過 50% 的提交被接受），以提取額外的元數(shù)據(jù)，并驗(yàn)證生成性人工智能模型的輸出是否正確。

此外，Project CodeNet?還解決了數(shù)據(jù)樣本的質(zhì)量的問題。

豐富的元數(shù)據(jù)和多樣性為 Project CodeNet 提供了大量的使用案例。Project CodeNet 中的 problem-submission 關(guān)系對應(yīng)于?Type-4?相似性，可用于代碼搜索和克隆檢測。Project CodeNet 中的代碼樣本被標(biāo)記為接受狀態(tài)，因此可以探索 AI 技術(shù)來區(qū)分正確的代碼和有問題的代碼。

Project CodeNet 的元數(shù)據(jù)還可以跟蹤一個提交的代碼如何從有問題到被接受的演變過程，這可以用來探索自動代碼糾正。每個代碼樣本都標(biāo)有 CPU 運(yùn)行時間和內(nèi)存足跡，可用于回歸研究和預(yù)測。鑒于其豐富的以多種語言編寫的程序，Project CodeNet 可以作為源到源翻譯的寶貴基準(zhǔn)數(shù)據(jù)集。