人工智能（AI）是當(dāng)今科技領(lǐng)域的熱門話題，它正在改變著我們的生活、工作和娛樂(lè)方式。而在人工智能的發(fā)展過(guò)程中，有一種技術(shù)尤為引人注目，那就是大語(yǔ)言模型（Large Language Model，LLM）。大語(yǔ)言模型其實(shí)很早就開始研究，隨著ChatGPT的出圈進(jìn)入公眾視野。

大語(yǔ)言模型發(fā)展歷史[1],1億參數(shù)認(rèn)為是大語(yǔ)言模型的分界點(diǎn)

大語(yǔ)言模型是機(jī)器深度學(xué)習(xí)的一種算法，可以通過(guò)大規(guī)模數(shù)據(jù)集訓(xùn)練來(lái)學(xué)習(xí)識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。研究人員估計(jì)，人腦平均包含860 億個(gè)神經(jīng)元和 100 萬(wàn)億個(gè)突觸。為了更好的模擬人類大腦，大語(yǔ)言模型通過(guò)增加模型參數(shù)（例如GPT-3的參數(shù)1750億（175B）），來(lái)模擬人腦。那么有個(gè)引發(fā)的問(wèn)題，人腦有100 萬(wàn)億個(gè)突觸，如果模型能到100萬(wàn)億參數(shù)是不是就接近真實(shí)人腦了？現(xiàn)在大模型方向就是走的這條路，以現(xiàn)在計(jì)算機(jī)的發(fā)展速度，實(shí)現(xiàn)起來(lái)也不是不可能。網(wǎng)上傳說(shuō)的GPT-4有100萬(wàn)億參數(shù)的謠言也就是這么出來(lái)的，正好對(duì)應(yīng)100萬(wàn)億人腦突觸。

我們的大腦是一個(gè)了不起的器官，它經(jīng)過(guò)數(shù)百萬(wàn)年的進(jìn)化而產(chǎn)生，而深度學(xué)習(xí)模型僅有幾十年的歷史，通過(guò)簡(jiǎn)單的堆參數(shù)的方式能否真正找到通向真理的道路？量變真的能夠引起質(zhì)變？答案只有交給未來(lái)去回答。

大語(yǔ)言模型的優(yōu)點(diǎn)不再論述，這里只講一些弊端。

1. 計(jì)算成本高。大語(yǔ)言模型需要消耗大量的計(jì)算資源和能源來(lái)進(jìn)行訓(xùn)練和部署，這不僅增加了經(jīng)濟(jì)成本，也對(duì)環(huán)境造成了一定的影響。

訓(xùn)練大語(yǔ)言模型的耗電量和碳排放

例如GPT-3訓(xùn)練一次需要耗電1287MWh即128.7萬(wàn)度電（美國(guó)電價(jià)0.15美分/度），大概訓(xùn)練一次的電費(fèi)成本約20萬(wàn)美元，即約120萬(wàn)人民幣（很多媒體錯(cuò)誤引用為120萬(wàn)美元）。ChatGPT訓(xùn)練了10輪，僅電費(fèi)成本就需要花費(fèi)1200萬(wàn)人民幣。

2. 泛化能力差。大語(yǔ)言模型雖然可以在多個(gè)任務(wù)上表現(xiàn)出色，但是它們也容易受到輸入的影響而輸出不合理或者錯(cuò)誤的內(nèi)容。例如，如果給 ChatGPT 輸入一個(gè)不恰當(dāng)或者誤導(dǎo)性的提示（Prompt），它可能會(huì)產(chǎn)生錯(cuò)誤答案，而不是事實(shí)結(jié)果，你很輕松就能改變它的觀點(diǎn)。

3.可解釋性低。大語(yǔ)言模型由于參數(shù)眾多，內(nèi)部機(jī)制復(fù)雜，很難理解它們是如何工作的，以及它們是基于什么樣的邏輯和知識(shí)來(lái)生成內(nèi)容的。例如對(duì)于AI生成的內(nèi)容，我們無(wú)法知道它是否正確，需要自己重新判斷。用過(guò)ChatGPT的人就會(huì)知道，對(duì)于一些常識(shí)問(wèn)題一本正經(jīng)的胡說(shuō)八道，你指出來(lái)他會(huì)說(shuō)：非常抱歉，謝謝你的指出，然后修改正確的回答。

在 AI 技術(shù)圈，關(guān)于 LLM 和小模型的討論在此之前已經(jīng)持續(xù)了不短的時(shí)間，處于不同生態(tài)位置和產(chǎn)業(yè)環(huán)節(jié)的人都有表達(dá)自己的觀點(diǎn)。社區(qū)和中小公司主要是小模型深度學(xué)習(xí)，并根據(jù)結(jié)果嘗試反饋優(yōu)化，因?yàn)槌袚?dān)不起訓(xùn)練費(fèi)用和GPU租賃費(fèi)。而對(duì)于大型公司，多是處于商業(yè)利益上的考量，大語(yǔ)言模型下，10000塊A100-80G被認(rèn)為是算力的入門門檻。按照一塊A100卡1萬(wàn)美元計(jì)算，部署算力平臺(tái)的成本為1億美元，只有少數(shù)公司能夠承擔(dān)，這就是大公司技術(shù)的護(hù)城河。所以目前國(guó)外大模型基本是谷歌，微軟，Meta（Facebook）三家。

顯卡生產(chǎn)企業(yè)英偉達(dá)生產(chǎn)A100/H100，當(dāng)然站在支持的這方，今年3月即將舉行的GTC大會(huì)請(qǐng)了阿爾法go的創(chuàng)始人和OpenAI的創(chuàng)始人助陣，暢聊大語(yǔ)言模型，深度學(xué)習(xí)，A100/H100勢(shì)必也有好的銷量。

量變能否引起質(zhì)變，更多的參數(shù)更大的神經(jīng)網(wǎng)絡(luò)是否會(huì)越來(lái)越像人類大腦，誰(shuí)也不知道，這是一條誰(shuí)也沒走過(guò)的道路，現(xiàn)在邁出了第一步，是正確的道路還是死胡同，只有讓未來(lái)回答。

正如當(dāng)有記者問(wèn)道：“GPT-4 是否會(huì)有類似人類推理或常識(shí)？”

OpenAI創(chuàng)始人Sam Altman表示他們也不確定，但仍然保持“樂(lè)觀”心態(tài)。

注：文章及圖片轉(zhuǎn)載自網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系刪除