谷歌將發(fā)布“巨型巴德”PaLM 2，編程能力超強(qiáng)、支持100多種語言

• 2023年5月10日 10:09

據(jù)最新報(bào)道，谷歌計(jì)劃在即將到來的“谷歌 I/O”年度開發(fā)者大會(huì)上，以人工智能 (AI) 為主題，發(fā)布一系列重磅產(chǎn)品和技術(shù)成果。其中，備受期待的大型語言模型 (LLM) “PaLM 2”將以其強(qiáng)大的編程能力和超過100種語言的支持，引領(lǐng)人工智能應(yīng)用的新篇章。

一、走進(jìn)PaLM 2：谷歌最新的大型語言模型

內(nèi)部文件顯示，谷歌將在這次大會(huì)上對(duì)外發(fā)布最新版本的大型語言模型“PaLM 2”。這個(gè)語言模型已經(jīng)在谷歌內(nèi)部進(jìn)行試驗(yàn)，測(cè)試代號(hào)為“統(tǒng)一語言模型（Unified Language Model）”。據(jù)悉，這一語言模型具有更高的“智商”，已經(jīng)能夠編寫軟件代碼，完成數(shù)學(xué)考試，也能夠完成創(chuàng)意作文和分析方面的測(cè)試。而就在不久前，谷歌剛剛宣布要將 Bard 的輕量級(jí) LaMDA 模型升級(jí)為更大規(guī)模的 PaLM 模型，使 Bard 在處理常識(shí)推理和編程問題等任務(wù)時(shí)能力更強(qiáng)。

對(duì)于即將發(fā)布的PaLM 2，谷歌期待它能夠進(jìn)一步拓展AI的應(yīng)用范圍，提高AI的實(shí)用性，以滿足不同用戶的需求。谷歌及其母公司 Alphabet 首席執(zhí)行官 Sundar Pichai 將在此次大會(huì)上進(jìn)行演講，介紹該公司在人工智能領(lǐng)域的最新進(jìn)展。

二、與競(jìng)爭(zhēng)對(duì)手的較量：人工智能領(lǐng)域的競(jìng)爭(zhēng)加劇

此次谷歌的更新正值人工智能領(lǐng)域的競(jìng)爭(zhēng)日益激烈之際。尤其是，谷歌和微軟都在競(jìng)相將聊天人工智能技術(shù)融入自己的產(chǎn)品中。微軟正在借助對(duì) ChatGPT 創(chuàng)建者 OpenAI 的投資來支持其必應(yīng)搜索引擎，而谷歌則迅速行動(dòng)起來，試圖在不同的團(tuán)隊(duì)中整合其 Bard 技術(shù)，并推出自己的 LLM。

有文件顯示，谷歌還計(jì)劃分享 Bard 和搜索方面取得的進(jìn)展，提供所謂的“生成式體驗(yàn)”，包括將 Bard 用于編碼、數(shù)學(xué)和“邏輯”。另一份內(nèi)部文件顯示，谷歌還在內(nèi)部開發(fā)了一個(gè)名為“Multi-Bard”的多模態(tài)模型版本，它使用了更大的數(shù)據(jù)集，可以幫助解決復(fù)雜的數(shù)學(xué)和編碼問題。此外，谷歌還測(cè)試了名為“Big Bard”和“Giant Bard”的版本。

三、谷歌大模型PaLM2的代碼生成能力

PaLM 2 的發(fā)布無疑將成為大會(huì)的一個(gè)重要的亮點(diǎn)。谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。此后，PaLM 的應(yīng)用在這一年取得了很大的進(jìn)展，今年 3 月，該公司推出了一款適用于 PaLM 的 API 以及一系列人工智能企業(yè)工具，稱這將幫助企業(yè)“通過簡(jiǎn)單的自然語言提示生成文本、圖像、代碼、視頻、音頻等”。

上個(gè)月，谷歌稱其名為“Med-PaLM 2”的醫(yī)學(xué) LLM 可以回答“專家醫(yī)生級(jí)別”的醫(yī)學(xué)檢查問題，準(zhǔn)確率達(dá) 85%。這一結(jié)果令人震驚，顯示了大模型在特定領(lǐng)域的專業(yè)應(yīng)用可能性。

PaLM 是谷歌基于 Pathways 系統(tǒng)訓(xùn)練的一個(gè) 5400 億參數(shù)的大型語言模型，相比之下，Bard 的 LaMDA 模型使用了 1370 億個(gè)參數(shù)進(jìn)行訓(xùn)練。為了訓(xùn)練這個(gè)模型，谷歌動(dòng)用了 6144 塊 TPU，讓 Pathways 在兩個(gè) Cloud TPU v4 Pods 上訓(xùn)練 PaLM。

去年谷歌還發(fā)布了長達(dá) 83 頁的 Pathways 系統(tǒng)論文，論文作者陣容很強(qiáng)大，還包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上說，這個(gè)項(xiàng)目花了 1 年多的時(shí)間，跨了多個(gè)部門（基礎(chǔ)架構(gòu)、數(shù)據(jù)、硬件等）。

這種強(qiáng)大的系統(tǒng)和算力投入帶來了驚艷的結(jié)果，PaLM 在許多非常困難的任務(wù)上顯示出了突破性的能力，包括語言理解、生成、推理和代碼等相關(guān)任務(wù)。

PaLM 使用英語和多語言數(shù)據(jù)集進(jìn)行訓(xùn)練，包括高質(zhì)量的 web 文檔、書籍、維基百科、對(duì)話和 GitHub 代碼。研究者還創(chuàng)建了一個(gè)“無損（lossless）”詞匯表，它保留了所有空格（對(duì)于代碼來說尤其重要），將詞匯表之外的 Unicode 字符拆分成字節(jié)，并將數(shù)字拆分成單獨(dú)的 token，每個(gè) token 對(duì)應(yīng)一個(gè)數(shù)字。

因此，PaLM 在許多非常困難的任務(wù)上顯示出突破性的能力。在需要多步驟算術(shù)或常識(shí)推理的推理任務(wù)上，PaLM 能解決 GSM8K 中 58% 的問題，這是一個(gè)包含數(shù)千個(gè)具有挑戰(zhàn)性的小學(xué)水平數(shù)學(xué)問題的基準(zhǔn)，這個(gè)得分接近 60% 的 9 到 12 歲兒童解決問題的水平。

在代碼生成方面，給定自然語言描述（文本到代碼）的情況下，PaLM 能很好地編寫代碼，將代碼從一種語言翻譯成另一種語言，以及修復(fù)編譯錯(cuò)誤（代碼到代碼）。這一能力顯示了它在處理編程任務(wù)時(shí)的強(qiáng)大能力。

大模型相對(duì)小模型來說，可以更好地從其他編程語言和自然語言數(shù)據(jù)中實(shí)現(xiàn)遷移學(xué)習(xí)，所以具有 540B 參數(shù)的 PaLM 在單個(gè)模型中顯示了橫跨編碼任務(wù)和自然語言任務(wù)的強(qiáng)大性能，即使它在預(yù)訓(xùn)練數(shù)據(jù)集中只有 5% 的代碼。

另外，谷歌還通過在純 Python 代碼數(shù)據(jù)集上微調(diào) PaLM ，將模型性能進(jìn)一步提高，谷歌稱之為 PaLM-Coder。對(duì)于給定的“DeepFix 示例代碼”修復(fù)任務(wù)，谷歌研究人員想讓大模型修改損壞的 C 程序，直到可以編譯成功，PaLM-Coder 540B 展示了令人印象深刻的性能，實(shí)現(xiàn)了 82.1% 的編譯率。這為修復(fù)軟件開發(fā)過程中出現(xiàn)的更復(fù)雜的錯(cuò)誤提供了機(jī)會(huì)。

四、谷歌Bard將接入PaLM模型，提升編程語言能力

谷歌首席執(zhí)行官 Sundar Pichai 在接受 Hard Fork 播客節(jié)目采訪時(shí)表示，谷歌語言模型助手 Bard 將從基于輕量級(jí) LaMDA 模型升級(jí)為更大規(guī)模的 PaLM 模型。

此前，Bard 只能回答一些基本的編程問題，但如果用戶想要了解更高級(jí)的編程概念或技巧，Bard 就會(huì)遇到困難。為了解決這個(gè)問題，Pichai 表示，Bard 有必要接入更大的語言模型。接入 PaLM 模型后，Bard 在處理常識(shí)推理和編程問題等任務(wù)時(shí)能力會(huì)表現(xiàn)得更強(qiáng)。

接入 PaLM 模型后，Bard 的編程語言能力將得到大幅提升。PaLM（Pretraining and Autoencoding for Language Modeling）是一種基于自編碼器的大型語言模型，由谷歌 AI 實(shí)驗(yàn)室提出。PaLM 模型能夠處理自然語言處理中更加復(fù)雜的任務(wù)，例如語言推理和情感分析等。

谷歌每年一度的開發(fā)者大會(huì)“谷歌 I/O”將于 5 月 10 日上午 10 點(diǎn)至下午 1 點(diǎn)（太平洋時(shí)間）舉行，我們將繼續(xù)關(guān)注谷歌 Bard 的動(dòng)態(tài)，特別是關(guān)于大型模型編程語言能力提升方面的進(jìn)展。這一進(jìn)展將使得Bard 更加強(qiáng)大，有助于提高用戶在編程學(xué)習(xí)中的體驗(yàn)和效率。

總的來說，谷歌的新語言模型 PaLM 2 的推出無疑是一個(gè)重大突破。它不僅在語言理解、生成、推理等方面顯示出了突破性的能力，更在編程方面展現(xiàn)出了強(qiáng)大的實(shí)力。它的出現(xiàn)將有望為全球的開發(fā)者帶來更多的便利，并進(jìn)一步推動(dòng)人工智能技術(shù)的發(fā)展。

然而，如此強(qiáng)大的技術(shù)也帶來了新的挑戰(zhàn)。如何確保這種新技術(shù)在不受監(jiān)管的環(huán)境下不被濫用，是所有科技公司，甚至是全社會(huì)需要面對(duì)的問題。同時(shí)，如何在保護(hù)用戶隱私和數(shù)據(jù)安全的前提下，推動(dòng)這種新技術(shù)的發(fā)展，也是一個(gè)需要解決的問題。

無論如何，PaLM 2 的出現(xiàn)無疑為人工智能領(lǐng)域帶來了新的可能性。我們期待看到，它將如何幫助人類實(shí)現(xiàn)全部潛能，如何推動(dòng)人工智能技術(shù)的發(fā)展，以及如何影響我們的生活。

免責(zé)聲明:谷歌將發(fā)布“巨型巴德”PaLM 2，編程能力超強(qiáng)、支持100多種語言文章轉(zhuǎn)發(fā)自互聯(lián)網(wǎng)，版權(quán)歸其所有。
文章內(nèi)容不代表本站立場(chǎng)和任何投資暗示。加密貨幣市場(chǎng)極其波動(dòng)，風(fēng)險(xiǎn)很高，可能不適合所有投資者。在投資加密貨幣之前，請(qǐng)確保自己充分了解市場(chǎng)和投資的風(fēng)險(xiǎn)，并考慮自己的財(cái)務(wù)狀況和風(fēng)險(xiǎn)承受能力。此外，請(qǐng)遵循您所在國家的法律法規(guī)，以及遵守交易所和錢包提供商的規(guī)定。對(duì)于任何因使用加密貨幣所造成的投資損失或其他損失，本站不承擔(dān)任何責(zé)任。