近日,OpenAI創(chuàng)始人Sam Altman與Humanloop CEO Raza Habib以及其他20位開發(fā)者進(jìn)行了一場(chǎng)閉門交流,討論了OpenAI的現(xiàn)狀和未來規(guī)劃。HumanLoop是一家?guī)椭_發(fā)者在大語言模型上構(gòu)建應(yīng)用的公司。
有參加了此次交流會(huì)的開發(fā)者表示,由于這是一次閉門交流,Altman表現(xiàn)出了開放的心態(tài),討論內(nèi)容涵蓋了開發(fā)者面臨的實(shí)際問題,還延伸到了商業(yè)競(jìng)爭(zhēng)、AI監(jiān)管和開源等問題。
Raza Habib記錄了這次對(duì)話的重要內(nèi)容,并在網(wǎng)絡(luò)上公布了相關(guān)內(nèi)容。然而,隨后根據(jù)OpenAI的要求,這些內(nèi)容已被刪除。這一刪除行為引發(fā)了外界的強(qiáng)烈好奇和質(zhì)疑。
有網(wǎng)友表示:“一家從互聯(lián)網(wǎng)上收集信息做產(chǎn)品的公司,居然要求從互聯(lián)網(wǎng)上‘刪除’一篇文章,這種行為真的很諷刺?!?/div>
外界對(duì)于OpenAI刪除文章的原因存在各種猜測(cè)。在HackNews上,一位現(xiàn)場(chǎng)參會(huì)者認(rèn)為OpenAI刪除文章是因?yàn)樗麄儾幌M诠_場(chǎng)合討論一些重要的公司規(guī)劃。還有網(wǎng)友認(rèn)為,OpenAI這樣做可能有炒作的嫌疑,畢竟GPU資源短缺已經(jīng)不再是一個(gè)秘密,只需要看看英偉達(dá)的股價(jià)就能了解情況。
一、OpenAI對(duì)GPU資源的依賴
在Altman和Raza的討論中,確認(rèn)了OpenAI目前嚴(yán)重依賴GPU資源,這導(dǎo)致許多短期計(jì)劃不得不推遲。一些大客戶還抱怨API的可靠性和速度表現(xiàn)。Altman贊同這些觀點(diǎn),并解釋說主要問題源于GPU供應(yīng)不足。
目前,更長的32k上下文還無法完全推廣。OpenAI仍然面臨O(n^2)注意力擴(kuò)展問題的挑戰(zhàn),這意味著盡管預(yù)計(jì)在今年實(shí)現(xiàn)10萬到百萬級(jí)令牌的上下文窗口,但進(jìn)一步擴(kuò)展需要突破性的研究。
微調(diào)API目前同樣受到GPU資源的限制。由于尚未使用Adapters或LoRa等高效的微調(diào)方法,OpenAI的微調(diào)運(yùn)行和管理仍然需要大量的計(jì)算資源。未來,微調(diào)的支持效果將會(huì)更好,OpenAI甚至可能為社區(qū)建立一個(gè)專門的模型市場(chǎng)。
專用容量產(chǎn)品也無法獨(dú)善其身。OpenAI目前提供專用容量,為客戶提供模型的私有副本。然而,要獲得這項(xiàng)服務(wù),客戶需要預(yù)先支付10萬美元。
隨著大型語言模型和AI的廣泛應(yīng)用,各個(gè)AI企業(yè)對(duì)GPU的需求迫切程度達(dá)到了前所未有的水平。英偉達(dá)高端GPU芯片的價(jià)格已經(jīng)達(dá)到每片數(shù)萬美元,AI基礎(chǔ)設(shè)施公司正在以數(shù)萬臺(tái)的價(jià)格購買這些芯片。馬斯克也表示他已經(jīng)為他的新AI初創(chuàng)公司X.AI購買了超過3萬塊英偉達(dá)頂級(jí)的H100 GPU芯片,每塊價(jià)格超過3萬美元。此外,Meta和微軟也成為今年英偉達(dá)GPU的最大買家之一(Meta可能是第一名,因?yàn)镕acebook、Instagram、WhatsApp和Messenger應(yīng)用中有許多使用AI增強(qiáng)的功能需要GPU支持)。
這就是為什么Sam Altman表示OpenAI也非常缺乏GPU資源的原因。Sam Altman此前在媒體采訪中公開強(qiáng)調(diào)了GPU的可用性如何影響OpenAI今年及以后的計(jì)劃。
二、OpenAI的短期路線圖
除了強(qiáng)調(diào)GPU的重要性外,Altman還分享了OpenAI的API近期路線圖(暫定)。
Altman表示,2023年對(duì)于OpenAI的發(fā)展來說是重要的一年,他們有一些令人興奮的計(jì)劃和目標(biāo)。
首要任務(wù)是推出價(jià)格更低、速度更快的GPT-4??傮w而言,OpenAI希望通過不斷改進(jìn)模型和提高性能,使其更適合廣泛的應(yīng)用場(chǎng)景,并更好地滿足客戶需求。GPT-4的發(fā)布將是OpenAI在2023年的一個(gè)重要里程碑。
此外,OpenAI還計(jì)劃改善API的可靠性和速度,以提供更好的用戶體驗(yàn)。他們將投入更多資源來解決目前API使用過程中的一些限制和問題,以確保用戶能夠更高效地使用和集成OpenAI的技術(shù)。
Altman還提到,OpenAI計(jì)劃加大對(duì)開發(fā)者社區(qū)的支持力度。他們計(jì)劃在未來提供更多的文檔、示例代碼和教程,以幫助開發(fā)者更好地理解和使用OpenAI的技術(shù)。此外,OpenAI還考慮建立一個(gè)專門的模型市場(chǎng),讓開發(fā)者能夠共享和交易自己訓(xùn)練的模型。
在AI安全方面,OpenAI將繼續(xù)致力于研究和開發(fā)能夠確保模型的安全性和可控性的方法。他們意識(shí)到大型語言模型的潛在風(fēng)險(xiǎn),并將持續(xù)投入資源來解決這些問題,確保AI技術(shù)的發(fā)展與社會(huì)利益相符。
總的來說,OpenAI在短期路線圖中關(guān)注的重點(diǎn)是改進(jìn)模型性能、提高API的可靠性和速度,并加強(qiáng)對(duì)開發(fā)者社區(qū)的支持。他們希望通過這些努力為用戶提供更好的體驗(yàn),并推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用。