文章作者:MarioGabriele 文章編譯:Blockunicorn
人工智能的圣戰(zhàn)
我寧愿把我的一生過(guò)得像有上帝一樣,等到死才發(fā)現(xiàn)上帝是不存在的,也不愿意過(guò)得像沒(méi)有上帝一樣,等到死才發(fā)現(xiàn)上帝是存在的!既R茲·帕斯卡
宗教是一件有趣的事情?赡芤?yàn)樗谌魏畏较蛏隙际峭耆珶o(wú)法證明的,也可能就像我最喜歡的一句話:“你不能用事實(shí)來(lái)對(duì)抗感情!
宗教信仰的特點(diǎn)是,在信仰上升的過(guò)程中,它們以一種難以置信的速度加速發(fā)展,以至于幾乎無(wú)法懷疑上帝的存在。當(dāng)你周圍的人越來(lái)越相信它時(shí),你怎么能懷疑一個(gè)神圣的存在呢?當(dāng)世界圍繞一個(gè)教義重新排列自己時(shí),哪里還有異端的立足之地?當(dāng)寺廟和大教堂、法律和規(guī)范都按照一種新的、不可動(dòng)搖的福音來(lái)安排時(shí),哪里還有反對(duì)的空間呢?
當(dāng)亞伯拉罕宗教首次出現(xiàn)并傳播到各大洲時(shí),或者佛教從印度傳播到整個(gè)亞洲時(shí),信仰的巨大動(dòng)能創(chuàng)造了一個(gè)自我強(qiáng)化的循環(huán)。隨著更多的人皈依,并圍繞這些信仰建立了復(fù)雜的神學(xué)體系和儀式,質(zhì)疑這些基本前提變得越來(lái)越困難。在一片輕信的海洋中,成為異端并不容易。宏偉的教堂、復(fù)雜的宗教經(jīng)文以及繁榮的修道院,都作為神圣存在的物理證據(jù)。
但宗教的歷史也告訴我們,這樣的結(jié)構(gòu)是多么容易崩潰。隨著基督教傳播到斯堪的納維亞半島,古老的北歐信仰在僅僅幾代人的時(shí)間里就崩潰了。古埃及的宗教體系持續(xù)了數(shù)千年,最終在新的、更持久的信仰崛起并在更大的權(quán)力結(jié)構(gòu)出現(xiàn)時(shí)消失了。即便是在同一種宗教內(nèi)部,我們也看到了戲劇性的分裂——宗教改革撕裂了西方基督教,而大分裂則導(dǎo)致了東西教會(huì)的分裂。這些分裂往往從看似微不足道的教義分歧開始,逐漸演變成完全不同的信仰體系。
圣典
上帝是超越所有智力思維層次的隱喻。就是這么簡(jiǎn)單。——約瑟夫·坎貝爾
簡(jiǎn)單地說(shuō),相信上帝就是宗教。也許創(chuàng)造上帝也沒(méi)什么不同。
自誕生以來(lái),樂(lè)觀的人工智能研究人員就將他們的工作想象成神創(chuàng)論——即上帝的創(chuàng)造。在過(guò)去幾年中,大型語(yǔ)言模型(LLMs)的爆炸式發(fā)展,進(jìn)一步的堅(jiān)定了信徒們的信念,認(rèn)為我們正走在一條神圣的道路上。
它也證實(shí)了2019年寫的一篇博客文章。盡管在人工智能領(lǐng)域外的人們直到最近才知道它,但加拿大計(jì)算機(jī)科學(xué)家理查德·薩頓的《苦澀的教訓(xùn)》已成為社區(qū)中越來(lái)越重要的文本,從隱秘的知識(shí)逐漸演變成一種新的、包羅萬(wàn)象的宗教基礎(chǔ)。
在1,113個(gè)字中(每個(gè)宗教都需要神圣的數(shù)字),薩頓總結(jié)了一項(xiàng)技術(shù)觀察:“從70年的人工智能研究中可以學(xué)到的最大教訓(xùn)是,利用計(jì)算的通用方法最終是最有效的,而且是巨大的優(yōu)勢(shì)!比斯ぶ悄苣P偷倪M(jìn)步得益于計(jì)算資源的指數(shù)級(jí)增加,乘著摩爾定律的巨大波浪。與此同時(shí),薩頓指出,人工智能研究中許多工作集中在通過(guò)專門的技術(shù)來(lái)優(yōu)化性能——增加人類知識(shí)或狹窄的工具。盡管這些優(yōu)化可能在短期內(nèi)有所幫助,但在薩頓看來(lái),它們最終是浪費(fèi)時(shí)間和資源的,猶如在一個(gè)巨大的浪潮到來(lái)時(shí),去調(diào)節(jié)沖浪板的鰭或嘗試新的蠟。
這就是我們所謂的“苦澀宗教”的基礎(chǔ)。它只有一條戒律,社區(qū)中通常稱之為“擴(kuò)展法則”:指數(shù)級(jí)增長(zhǎng)的計(jì)算推動(dòng)性能;其余都是愚蠢的。
苦澀宗教從大型語(yǔ)言模型(LLMs)擴(kuò)展到世界模型,現(xiàn)在正通過(guò)生物學(xué)、化學(xué)和具身智能(機(jī)器人學(xué)和自動(dòng)駕駛車輛)這些未被轉(zhuǎn)化的圣殿迅速傳播。
然而,隨著薩頓學(xué)說(shuō)的傳播,定義也開始發(fā)生變化。這是所有活躍而充滿生命力的宗教的標(biāo)志——爭(zhēng)論、延伸、注釋。“擴(kuò)展法則”不再僅僅意味著擴(kuò)展計(jì)算(方舟不只是一艘船),它現(xiàn)在指的是各種旨在提升變壓器和計(jì)算性能的方法,其中還帶有一些技巧。
Sutskever派合理地指出,Altman派的持續(xù)擴(kuò)展理念在經(jīng)濟(jì)上是不可行的。正如人工智能研究員NoamBrown所問(wèn):“畢竟,我們真的要訓(xùn)練花費(fèi)數(shù)千億美元或數(shù)萬(wàn)億美元的模型嗎?”這還不包括如果我們將計(jì)算擴(kuò)展從訓(xùn)練轉(zhuǎn)移到推理所需的額外數(shù)十億美元的推理計(jì)算支出。
但真正的信徒非常熟悉對(duì)手的論點(diǎn)。你家門口的傳教士能夠輕松應(yīng)對(duì)你的享樂(lè)主義三難困境。對(duì)于Brown 和Sutskever而言,Sutskever 派指出了擴(kuò)展“測(cè)試時(shí)計(jì)算”的可能性。與迄今為止的情況不同,“測(cè)試時(shí)計(jì)算”不是依靠更大的計(jì)算來(lái)改進(jìn)訓(xùn)練,而是將更多的資源用于執(zhí)行。當(dāng)人工智能模型需要回答你的問(wèn)題或生成一段代碼或文本時(shí),它可以提供更多的時(shí)間和計(jì)算。這相當(dāng)于將你的注意力從備考數(shù)學(xué)轉(zhuǎn)移到說(shuō)服老師給你多一個(gè)小時(shí)并允許你帶計(jì)算器。對(duì)于生態(tài)系統(tǒng)中的許多人來(lái)說(shuō),這是“苦澀宗教”的新前沿,因?yàn)閳F(tuán)隊(duì)正在從正統(tǒng)的預(yù)訓(xùn)練轉(zhuǎn)向后訓(xùn)練/推理的方法。
指出其他信仰體系的漏洞,批判其他教義而不暴露自己的立場(chǎng),這倒是很容易。那么,我自己的信仰是什么呢?首先,我相信當(dāng)前這一批模型會(huì)隨著時(shí)間的推移帶來(lái)非常高的投資回報(bào)。隨著人們學(xué)會(huì)如何繞過(guò)限制并利用現(xiàn)有的API,我們將看到真正創(chuàng)新的產(chǎn)品體驗(yàn)的出現(xiàn)并取得成功。我們將超越人工智能產(chǎn)品的擬物化和增量階段。我們不應(yīng)將其視為“通用型人工智能”(AGI),因?yàn)槟欠N定義存在框架上的缺陷,而應(yīng)看作是“最小可行智能”,能夠根據(jù)不同的產(chǎn)品和使用場(chǎng)景進(jìn)行定制。
至于實(shí)現(xiàn)超級(jí)人工智能(ASI),則需要更多的結(jié)構(gòu)。更明確的定義和劃分將幫助我們更有效地討論各自可能帶來(lái)的經(jīng)濟(jì)價(jià)值與經(jīng)濟(jì)成本之間的權(quán)衡。例如,AGI可能為一部分用戶提供經(jīng)濟(jì)價(jià)值(僅僅是一個(gè)局部的信仰體系),而ASI則可能展現(xiàn)出不可阻擋的復(fù)合效應(yīng),并改變世界、我們的信仰體系以及我們的社會(huì)結(jié)構(gòu)。我不認(rèn)為僅憑擴(kuò)展變壓器就能實(shí)現(xiàn)ASI;但遺憾的是,正如有些人可能會(huì)說(shuō)的那樣,這只是我的無(wú)神論信仰。
失落的信仰
人工智能社區(qū)無(wú)法在短期內(nèi)解決這場(chǎng)圣戰(zhàn);在這場(chǎng)情感的爭(zhēng)斗中沒(méi)有可以拿出來(lái)的事實(shí)依據(jù)。相反,我們應(yīng)該將注意力轉(zhuǎn)向人工智能質(zhì)疑其對(duì)擴(kuò)展法則的信仰意味著什么。信仰的喪失可能會(huì)引發(fā)連鎖反應(yīng),超越大型語(yǔ)言模型(LLMs),影響所有行業(yè)和市場(chǎng)。
必須指出的是,在人工智能/機(jī)器學(xué)習(xí)的大多數(shù)領(lǐng)域,我們尚未徹底探索擴(kuò)展法則;未來(lái)還會(huì)有更多的奇跡。然而,如果懷疑真的悄然出現(xiàn),那么對(duì)于投資者和建設(shè)者來(lái)說(shuō),將變得更加困難,難以對(duì)像生物技術(shù)和機(jī)器人等“曲線早期”類別的終極性能狀態(tài)保持同樣高的信心。換句話說(shuō),如果我們看到大型語(yǔ)言模型開始放緩并偏離被選定的道路,那么許多創(chuàng)始人和投資者在相鄰領(lǐng)域的信仰體系將崩塌。
這是否公平是另一個(gè)問(wèn)題。
有一種觀點(diǎn)認(rèn)為,“通用型人工智能”自然需要更大的規(guī)模,因此,專業(yè)化模型的“質(zhì)量”應(yīng)該在較小的規(guī)模上展現(xiàn),從而使它們?cè)谔峁⿲?shí)際價(jià)值之前不容易遇到瓶頸。如果一個(gè)特定領(lǐng)域的模型只攝取一部分?jǐn)?shù)據(jù),因此只需要一部分計(jì)算資源來(lái)達(dá)到可行性,么它難道不應(yīng)該有足夠的改進(jìn)空間嗎?這從直覺上看是有道理的,但我們反復(fù)發(fā)現(xiàn),關(guān)鍵往往不在于此:包括相關(guān)或看似不相關(guān)的數(shù)據(jù),常常能夠提高看似不相關(guān)的模型的性能。例如,包括編程數(shù)據(jù)似乎有助于提升更廣泛的推理能力。
從長(zhǎng)遠(yuǎn)來(lái)看,關(guān)于專業(yè)化模型的爭(zhēng)論可能是無(wú)關(guān)緊要的。任何構(gòu)建ASI(超級(jí)人工智能)的人,最終的目標(biāo)很可能是一個(gè)能夠自我復(fù)制、自我改進(jìn)的實(shí)體,具備在各個(gè)領(lǐng)域內(nèi)發(fā)揮無(wú)限的創(chuàng)造力。HoldenKarnofsky,前OpenAI董事會(huì)成員及OpenPhilanthropy創(chuàng)始人,稱這種創(chuàng)造物為“PASTA”(自動(dòng)化科學(xué)和技術(shù)進(jìn)步的過(guò)程)。SamAltman的原始盈利計(jì)劃似乎依賴于類似的原則:“構(gòu)建AGI,然后詢問(wèn)它如何獲得回報(bào)!边@是末世論的人工智能,是最終的命運(yùn)。
像OpenAI和Anthropic這樣的大型AI實(shí)驗(yàn)室的成功,激發(fā)了資本市場(chǎng)支持類似“X領(lǐng)域的OpenAI”實(shí)驗(yàn)室的熱情,這些實(shí)驗(yàn)室的長(zhǎng)期目標(biāo)是圍繞在其特定垂直行業(yè)或領(lǐng)域內(nèi)構(gòu)建“AGI”。這種規(guī)模分解的推斷將導(dǎo)致范式轉(zhuǎn)變,遠(yuǎn)離OpenAI模擬,轉(zhuǎn)向以產(chǎn)品為中心的公司——這我在Compound的2023年年會(huì)上提出了這種可能性。
與末世論模型不同,這些公司必須展示一系列的進(jìn)展。它們將是基于規(guī)模工程問(wèn)題建立的公司,而不是進(jìn)行應(yīng)用研究的科學(xué)組織,最終目標(biāo)是構(gòu)建產(chǎn)品。
在科學(xué)領(lǐng)域,如果你知道自己在做什么,那你就不應(yīng)該做這件事。在工程領(lǐng)域,如果你不知道自己在做什么,那你也不應(yīng)該做這件事!聿榈隆h明
信徒們不太可能在短期內(nèi)失去他們的神圣信仰。如前所述,隨著宗教的激增,它們編纂了一套生活和崇拜的劇本和一套啟發(fā)式方法。它們建造了實(shí)體的紀(jì)念碑和基礎(chǔ)設(shè)施,加強(qiáng)了他們的力量和智慧,并表明它們“知道自己在做什么”。
在最近的一次采訪中,SamAltman談到AGI時(shí)說(shuō)了這樣的話(重點(diǎn)是我們):
這是我第一次覺得我們真的知道該做什么。從現(xiàn)在到構(gòu)建一個(gè)AGI仍然需要大量的工作。我們知道有一些已知的未知數(shù),但我認(rèn)為我們基本上知道該做什么,這將需要一段時(shí)間;這會(huì)很困難,但這也非常令人興奮。
審判
在質(zhì)疑《苦澀的宗教》時(shí),擴(kuò)展懷疑論者正在清算過(guò)去幾年最深刻的討論之一。我們每個(gè)人都曾以某種形式進(jìn)行過(guò)這樣的思考。如果我們發(fā)明了上帝,會(huì)發(fā)生什么?那個(gè)上帝會(huì)多快出現(xiàn)?如果AGI(通用型人工智能)真的、不可逆地崛起,會(huì)發(fā)生什么?
像所有未知且復(fù)雜的話題一樣,我們很快就將自己的特定反應(yīng)存儲(chǔ)在大腦中:一部分人對(duì)它們即將變得無(wú)關(guān)緊要感到絕望,大多數(shù)人則預(yù)計(jì)會(huì)是毀滅和繁榮的混合,最后的一部分人則預(yù)計(jì)人類會(huì)做我們最擅長(zhǎng)的事情,繼續(xù)尋找要解決的問(wèn)題并解決我們自己創(chuàng)造的問(wèn)題,從而實(shí)現(xiàn)純粹的富足。
任何有很大利害關(guān)系的人都希望能夠預(yù)測(cè),如果擴(kuò)展定律成立,并且AGI在幾年內(nèi)到來(lái),世界對(duì)他們來(lái)說(shuō)會(huì)是什么樣子。你將如何侍奉這個(gè)新的上帝,這個(gè)新的上帝又將如何服務(wù)于你?
但是,如果停滯的福音趕走了樂(lè)觀主義者,該怎么辦呢?如果我們開始認(rèn)為,也許連上帝都會(huì)衰退,該怎么辦呢?在之前的一篇文章《機(jī)器人 FOMO、規(guī)模定律與技術(shù)預(yù)測(cè)》中,我寫道:
我有時(shí)會(huì)想,如果擴(kuò)展定律不成立會(huì)發(fā)生什么,這是否會(huì)與收入流失、增長(zhǎng)放緩和利率上升對(duì)許多技術(shù)領(lǐng)域的影響相似。我有時(shí)還會(huì)想,擴(kuò)展定律是否完全成立,這是否會(huì)與許多其他領(lǐng)域的先行者及其價(jià)值獲取的商品化曲線相似。
“資本主義的好處在于,無(wú)論怎樣,我們都會(huì)花費(fèi)大量的錢來(lái)找出答案!
對(duì)創(chuàng)始人和投資者來(lái)說(shuō),問(wèn)題變成了:接下來(lái)會(huì)發(fā)生什么?每個(gè)垂直領(lǐng)域中有可能成為偉大產(chǎn)品構(gòu)建者的候選人正在逐漸為人所知。個(gè)行業(yè)中還會(huì)有更多這樣的人,但這個(gè)故事已經(jīng)開始上演。新的機(jī)遇又從何而起呢?
如果擴(kuò)展停滯,我預(yù)計(jì)將看到一波倒閉和合并的浪潮。剩下的公司將越來(lái)越多地將重點(diǎn)轉(zhuǎn)向工程,這一進(jìn)化我們應(yīng)當(dāng)通過(guò)跟蹤人才流動(dòng)來(lái)預(yù)見。我們已經(jīng)看到一些跡象表明,OpenAI正朝著這個(gè)方向發(fā)展,因?yàn)樗絹?lái)越多地將自己產(chǎn)品化。這一轉(zhuǎn)變將為下一代創(chuàng)業(yè)公司開辟空間,通過(guò)依賴創(chuàng)新的應(yīng)用研究和科學(xué),而非工程,進(jìn)行“彎道超車”,在開辟新路徑的嘗試中超越現(xiàn)有企業(yè)。
它通常始于出現(xiàn)相互競(jìng)爭(zhēng)的解釋,無(wú)論是出于資本主義的還是意識(shí)形態(tài)的原因。在早期的基督教中,關(guān)于基督的神性和三位一體的本質(zhì)的不同觀點(diǎn)導(dǎo)致了分裂,產(chǎn)生了截然不同的圣經(jīng)解釋。除了我們已經(jīng)提到的AI的分裂,還有其他正在出現(xiàn)的裂痕。例如,我們看到一部分AI研究人員拒絕了變換器的核心正統(tǒng)觀念,而轉(zhuǎn)向了其他架構(gòu),如狀態(tài)空間模型(StateSpaceModels)、Mamba、RWKV、液體模型(LiquidModels)等。雖然這些現(xiàn)在還只是軟信號(hào),但它們顯示出異端思想的萌芽以及從基礎(chǔ)原則重新思考這一領(lǐng)域的意愿。
隨著時(shí)間的推移,先知不耐煩的言論也會(huì)導(dǎo)致人們的不信任。當(dāng)宗教領(lǐng)袖的預(yù)言沒(méi)有實(shí)現(xiàn),或者神的干預(yù)沒(méi)有如約而至?xí)r,它就會(huì)種下懷疑的種子。
米勒派運(yùn)動(dòng)曾預(yù)言基督將在1844年回歸,但當(dāng)耶穌沒(méi)有按計(jì)劃到來(lái)時(shí),該運(yùn)動(dòng)就土崩瓦解了。在科技界,我們通常會(huì)默默埋葬失敗的預(yù)言,并允許我們的先知繼續(xù)描繪樂(lè)觀的、長(zhǎng)周期的未來(lái)版本,盡管預(yù)定的截止日期一再錯(cuò)過(guò)(嗨,Elon)。然而,如果沒(méi)有通過(guò)持續(xù)改進(jìn)的原始模型性能來(lái)支撐,擴(kuò)展定律的信仰也可能面臨類似的崩潰。
一個(gè)腐敗、臃腫或不穩(wěn)定的宗教容易受到叛教者的影響。新教改革運(yùn)動(dòng)之所以能取得進(jìn)展,不僅僅是因?yàn)槁返碌纳駥W(xué)觀點(diǎn),更因?yàn)樗霈F(xiàn)在天主教會(huì)衰落和動(dòng)蕩的時(shí)期。當(dāng)主流機(jī)構(gòu)出現(xiàn)裂痕時(shí),長(zhǎng)期存在的“異端”思想就會(huì)突然找到肥沃的土壤。
在人工智能領(lǐng)域,我們可能會(huì)關(guān)注規(guī)模較小的模型或替代方法,它們以更少的計(jì)算或數(shù)據(jù)實(shí)現(xiàn)類似的結(jié)果,例如來(lái)自各種中國(guó)企業(yè)實(shí)驗(yàn)室和開源團(tuán)隊(duì)(如NousResearch)所做的工作。那些突破生物智能極限、克服長(zhǎng)期被認(rèn)為無(wú)法逾越的障礙的人,也可能會(huì)創(chuàng)建一個(gè)新的敘事。
觀察轉(zhuǎn)變開始的最直接、最具時(shí)效性的方式是跟蹤從業(yè)者的動(dòng)向。在任何正式的分裂之前,宗教學(xué)者和神職人員通常會(huì)在私下里保持異端觀點(diǎn),而在公眾面前卻表現(xiàn)得順從。當(dāng)今的對(duì)應(yīng)現(xiàn)象可能是一些AI研究人員,他們表面上遵循擴(kuò)展定律,但暗地里卻在追求截然不同的方法,等待適當(dāng)時(shí)機(jī)挑戰(zhàn)共識(shí),或離開他們的實(shí)驗(yàn)室,去尋找理論上更廣闊的天地。
關(guān)于宗教和技術(shù)正統(tǒng)的棘手之處在于,它們往往有一部分是正確的,只是并不像最忠實(shí)的信徒所認(rèn)為的那樣普遍正確。就像宗教將人類的基本真理融入它們的形而上學(xué)框架中一樣,擴(kuò)展定律清楚地描述了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的真實(shí)情況。問(wèn)題在于,這種現(xiàn)實(shí)是否像當(dāng)前的熱情所暗示的那樣完全且不變,以及這些宗教機(jī)構(gòu)(人工智能實(shí)驗(yàn)室)是否足夠靈活、足夠有策略性,能夠帶領(lǐng)狂熱分子一起前行。同時(shí),建立出能夠讓知識(shí)傳播的印刷機(jī)(聊天界面和API),讓他們的知識(shí)得以傳播。
終局
“宗教在普通民眾眼中是真實(shí)的,在智者眼中是虛假的,在統(tǒng)治者眼中是有用的。”——盧修斯·安納烏斯·塞內(nèi)加
對(duì)宗教機(jī)構(gòu)的一種可能過(guò)時(shí)的觀點(diǎn)是,一旦它們達(dá)到一定規(guī)模,它們就會(huì)像許多人類經(jīng)營(yíng)的組織一樣,容易屈服于生存的動(dòng)機(jī),試圖在競(jìng)爭(zhēng)中存活下來(lái)。在此過(guò)程中,它們忽視了真理和偉大的動(dòng)機(jī)(這兩者并非互相排斥)。
我曾撰寫過(guò)一篇文章關(guān)于資本市場(chǎng)如何成為敘事驅(qū)動(dòng)的信息繭房,而激勵(lì)機(jī)制往往會(huì)使這些敘事得以延續(xù)。擴(kuò)展定律的共識(shí)給人一種不祥的相似感——一種根深蒂固的信仰體系,它在數(shù)學(xué)上優(yōu)雅且在協(xié)調(diào)大規(guī)模資本部署上極其有用。就像許多宗教框架一樣,它可能作為一種協(xié)調(diào)機(jī)制比作為一種基本真理更有價(jià)值。
免責(zé)聲明:苦澀的宗教:人工智能圍繞擴(kuò)展法則展開的圣戰(zhàn)文章轉(zhuǎn)發(fā)自互聯(lián)網(wǎng),版權(quán)歸其所有。
文章內(nèi)容不代表本站立場(chǎng)和任何投資暗示。加密貨幣市場(chǎng)極其波動(dòng),風(fēng)險(xiǎn)很高,可能不適合所有投資者。在投資加密貨幣之前,請(qǐng)確保自己充分了解市場(chǎng)和投資的風(fēng)險(xiǎn),并考慮自己的財(cái)務(wù)狀況和風(fēng)險(xiǎn)承受能力。此外,請(qǐng)遵循您所在國(guó)家的法律法規(guī),以及遵守交易所和錢包提供商的規(guī)定。對(duì)于任何因使用加密貨幣所造成的投資損失或其他損失,本站不承擔(dān)任何責(zé)任。
Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM