亚洲www 1区二区,日韩伦理短片在线观看,亚洲人妻最新在线视频,人妻无码熟妇乱视频,免费午夜在线视频,国产一二不卡2021,精品人妻伦九区久久69,国产 另类 在线,亚洲一级 在线观看

來(lái)源：華爾街見(jiàn)聞

AI大戰(zhàn)，究竟誰(shuí)才是最終贏家？

【資料圖】

或許既不是人們討論最激烈的OpenAI，也不是微軟、谷歌等科技巨頭，開(kāi)源AI可能將在未來(lái)占領(lǐng)高地。

周四，據(jù)媒體semianalysis報(bào)道，谷歌研究員在一份泄密文件中坦言，谷歌沒(méi)有護(hù)城河，OpenAI也是如此，與開(kāi)源AI競(jìng)爭(zhēng)將難以占據(jù)優(yōu)勢(shì)。

正如文件中提到的，開(kāi)源模型訓(xùn)練速度更快，可定制性更強(qiáng)，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌1000萬(wàn)美元和540億的參數(shù)難以企及”的事情，而且在短短幾周內(nèi)就能做到，而不是幾個(gè)月。

對(duì)于用戶而言，如果有一個(gè)沒(méi)有使用限制、免費(fèi)、高質(zhì)量的替代品，誰(shuí)還會(huì)為谷歌的產(chǎn)品付費(fèi)呢？

以下是谷歌泄密文件：

我們對(duì)OpenAI進(jìn)行了很多審視和思考，誰(shuí)會(huì)跨越下一個(gè)里程碑？下一步會(huì)有什么行動(dòng)？

但令人不安的事實(shí)是，我們沒(méi)有能力贏得這場(chǎng)軍備競(jìng)賽，OpenAI也是如此。在我們爭(zhēng)吵不休的時(shí)候，第三個(gè)派別一直在悄悄地?fù)屛覀兊娘埻搿?/p>

我指的是開(kāi)源AI，簡(jiǎn)而言之他們正在搶走我們的市場(chǎng)份額。我們認(rèn)為的“主要的開(kāi)放問(wèn)題”如今被解決了，并且已經(jīng)觸達(dá)用戶。僅舉幾例：

手機(jī)上的LLMs：人們以5 tokens/sec在Pixel 6上運(yùn)行基礎(chǔ)模型。

可擴(kuò)展的個(gè)人人工智能：你可以在一個(gè)晚上用你的筆記本電腦上微調(diào)生成個(gè)性化的AI助手。

負(fù)責(zé)任的發(fā)布：這個(gè)問(wèn)題并沒(méi)有“解決”，而是“避免”。有的整個(gè)網(wǎng)站充滿了沒(méi)有任何限制的藝術(shù)模型，而文字也不甘落后。

多模態(tài)性：目前的多模態(tài)ScienceQA SOTA是在一小時(shí)內(nèi)訓(xùn)練完成的。

雖然我們的模型在質(zhì)量上仍有一點(diǎn)優(yōu)勢(shì)，但差距正在以令人驚訝的速度迅速縮小。開(kāi)源模型訓(xùn)練速度更快，可定制性更強(qiáng)，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌用1000萬(wàn)美元和540億的參數(shù)難以企及”的事情，而且在幾周內(nèi)就能做到，而不是幾個(gè)月。這對(duì)我們有深遠(yuǎn)的影響：

我們沒(méi)有訣竅。我們最大的希望是向谷歌以外的其他人學(xué)習(xí)并與他們合作。我們應(yīng)該優(yōu)先考慮實(shí)現(xiàn)3P整合。

當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí)，人們不會(huì)為一個(gè)受限制的模式付費(fèi)。我們應(yīng)該考慮我們的附加值到底在哪里？

大模型正在拖累我們，從長(zhǎng)遠(yuǎn)來(lái)看，最好的模型是那些可以快速迭代的模型。

三月初，Meta的大語(yǔ)言模型LLaMA被泄露，開(kāi)源社區(qū)得到了第一個(gè)真正有能力的基礎(chǔ)模型。它沒(méi)有指令或?qū)υ捳{(diào)整，也沒(méi)有RLHF。盡管如此，社區(qū)立即理解了他們所得到的東西的意義。

隨后，巨大的創(chuàng)新成果接連涌現(xiàn)出來(lái)，發(fā)展僅僅間隔了幾天?，F(xiàn)在，不到一個(gè)月的時(shí)間，就出現(xiàn)了指令調(diào)整、量化、質(zhì)量改進(jìn)、人類評(píng)價(jià)、多模態(tài)、RLHF等變體，許多都是相互關(guān)聯(lián)的。

最重要的是，他們已經(jīng)解決了縮放（scaling）問(wèn)題，達(dá)到了任何人都可以調(diào)整的程度。許多新的想法都來(lái)自于普通人，門(mén)檻已經(jīng)從一個(gè)主要研究機(jī)構(gòu)下降到一個(gè)人、一個(gè)晚上和一臺(tái)強(qiáng)大的筆記本電腦。

在許多方面，這對(duì)任何人來(lái)說(shuō)都不那么驚訝。當(dāng)前開(kāi)源大模型的復(fù)興緊隨生成圖像模型的火熱，開(kāi)源社區(qū)并沒(méi)有忘記這些相似之處，許多人稱這是LLMs的“Stable Diffusion”時(shí)刻。

通過(guò)低秩矩陣微調(diào)方法（LoRA），結(jié)合規(guī)模上的重大突破（如大模型Chinchilla），公眾可以用較低成本參與進(jìn)來(lái)；在這兩種情況下，獲得一個(gè)足夠高質(zhì)量的模型可以引發(fā)了世界各地的個(gè)人和機(jī)構(gòu)的想法和迭代的熱潮，很快就會(huì)超越大型企業(yè)。

這些貢獻(xiàn)在圖像生成領(lǐng)域非常關(guān)鍵，使Stable Diffusion公司走上了與Dall-E不同的道路。擁有一個(gè)開(kāi)放的模式帶來(lái)的產(chǎn)品整合、市場(chǎng)、用戶界面和創(chuàng)新，這些都是Dall-E所沒(méi)有的。

其效果是可想而知的：在文化影響方面，與OpenAI的解決方案相比，它迅速占據(jù)了主導(dǎo)地位，變得越來(lái)越相互依賴。同樣的事情是否會(huì)發(fā)生在LLM上還有待觀察，但廣泛的結(jié)構(gòu)元素是相同的。

開(kāi)源最近成功的創(chuàng)新直接解決了我們?nèi)栽趻暝膯?wèn)題，多關(guān)注他們的工作可以幫助我們避免重蹈覆轍。

LoRA是一個(gè)非常強(qiáng)大的技術(shù)，我們應(yīng)該多加注意，LoRA的工作原理是將模型更新表示為低秩因子化，這將更新矩陣的大小減少了幾千倍。這使得模型的微調(diào)只需要一小部分的成本和時(shí)間。能夠在幾個(gè)小時(shí)內(nèi)在消費(fèi)類硬件上對(duì)語(yǔ)言模型進(jìn)行個(gè)性化調(diào)整是一件大事，特別是對(duì)于那些涉及在近乎實(shí)時(shí)的情況下納入新的和多樣化的知識(shí)。這項(xiàng)技術(shù)的存在在谷歌內(nèi)部沒(méi)有得到充分的利用，盡管它直接影響了我們一些最雄心勃勃的項(xiàng)目。

從頭開(kāi)始重新訓(xùn)練模型是一條艱難的道路，LoRA之所以如此有效，部分原因在于--像其他形式的微調(diào)--是可堆疊的，像指令調(diào)整這樣的改進(jìn)可以被應(yīng)用，然后隨著其他貢獻(xiàn)者增加對(duì)話、推理或工具使用而被利用。雖然單個(gè)的微調(diào)是低等級(jí)的，但它們的總和不需要，允許模型的全等級(jí)更新隨著時(shí)間的推移而積累。

這意味著，隨著新的和更好的數(shù)據(jù)集和任務(wù)的出現(xiàn)，模型可以以較低成本保持更新，而不需要支付全面訓(xùn)練的費(fèi)用。

相比之下，從頭開(kāi)始訓(xùn)練大模型，不僅丟掉了預(yù)訓(xùn)練，還丟掉了之前的任何迭代改進(jìn)。在開(kāi)源的世界里，這些改進(jìn)在不久之后就會(huì)占據(jù)主導(dǎo)地位，從而使全面重新訓(xùn)練的成本變得非常昂貴。

我們應(yīng)該深思熟慮，每個(gè)新的應(yīng)用或想法是否真的需要一個(gè)全新的模型。如果我們真的有重大的架構(gòu)改進(jìn)，那么我們應(yīng)該投資于更積極的提煉形式，盡可能地保留前一代的能力。如果我們能在小模型上更快地進(jìn)行迭代，那么從長(zhǎng)遠(yuǎn)來(lái)看，大模型并不是更有優(yōu)勢(shì)。

LoRA更新的成本非常低（約100美元），這意味著幾乎任何有想法的人都可以生成。訓(xùn)練時(shí)間少于一天是很正常的，在這種速度下，所有這些微調(diào)的累積效應(yīng)不需要很長(zhǎng)時(shí)間就可以克服初始的模型規(guī)模劣勢(shì)。

數(shù)據(jù)質(zhì)量的擴(kuò)展性比大小更好體現(xiàn)在這些項(xiàng)目中，許多模型通過(guò)在小型、高質(zhì)量的數(shù)據(jù)集上進(jìn)行訓(xùn)練來(lái)節(jié)省時(shí)間。這表明在數(shù)據(jù)擴(kuò)展規(guī)律有一定的靈活性，同時(shí)正迅速成為谷歌之外的標(biāo)準(zhǔn)訓(xùn)練方式。這兩種方法在谷歌都不占優(yōu)勢(shì)，但幸運(yùn)的是，這些高質(zhì)量的數(shù)據(jù)集是開(kāi)源的，可以免費(fèi)使用。

最近的這一進(jìn)展對(duì)我們的商業(yè)戰(zhàn)略有直接、重大的影響，如果有一個(gè)沒(méi)有使用限制、免費(fèi)、高質(zhì)量的替代品，誰(shuí)還會(huì)為谷歌的產(chǎn)品付費(fèi)呢？

而且，我們不應(yīng)該指望能夠追趕上，現(xiàn)代互聯(lián)網(wǎng)在開(kāi)放源碼上運(yùn)行是有原因的，開(kāi)放源碼有一些無(wú)法復(fù)制的優(yōu)勢(shì)。

我們更需要他們，對(duì)我們的技術(shù)進(jìn)行保密始終是不穩(wěn)固的，谷歌的研究人員經(jīng)常變動(dòng)，所以我們可以假設(shè)他們知道我們所知道的一切，而且只要這個(gè)途徑是開(kāi)放的，相關(guān)技術(shù)就會(huì)繼續(xù)散播出去。

但在技術(shù)方面保持競(jìng)爭(zhēng)優(yōu)勢(shì)變得更加困難，世界各地的研究機(jī)構(gòu)都在彼此的工作基礎(chǔ)上，以廣度優(yōu)先的方式探索解決方案的空間，遠(yuǎn)遠(yuǎn)超過(guò)了我們的能力。我們可以嘗試緊緊抓住我們的秘密，而外部的創(chuàng)新會(huì)稀釋它們的價(jià)值，或者我們可以嘗試相互學(xué)習(xí)。

關(guān)鍵詞：