官方网站-首页

欢(huan)迎(yíng)来(lái)到(dào)特(tè)别(bié)推(tuī)出(chū)的(de)寒(hán)假(jiǎ)精(jīng)品(pǐn)栏(lán)目(mù)“给(gěi)孩(hái)子(zi)的(de)高(gāo)新(xīn)科(kē)技(jì)课(kè)”！

人(rén)工(gōng)智(zhì)能(néng)作(zuò)为(wèi)当(dāng)今(jīn)最(zuì)前(qián)沿(yán)的(de)科(kē)技(jì)之(zhī)一(yī)，正(zhèng)在(zài)以(yǐ)令(lìng)人(rén)惊(jīng)叹(tàn)的(de)速(sù)度(dù)改(gǎi)变(biàn)着(zhe)我(wǒ)们(men)的(de)生(shēng)活(huó)。从(cóng)智(zhì)能(néng)语(yǔ)音(yīn)助(zhù)手(shǒu)到(dào)无(wú)人(rén)驾(jià)驶(shǐ)汽(qì)车(chē)，从(cóng) AI 绘(huì)画(huà)到(dào)机(jī)器(qì)学(xué)习(xí)，它(tā)为(wèi)我(wǒ)们(men)打(dǎ)开(kāi)了(le)一(yī)个(gè)充(chōng)满(mǎn)无(wú)限(xiàn)可(kě)能(néng)的(de)未(wèi)来(lái)。本(běn)栏(lán)目(mù)将(jiāng)以(yǐ)通(tōng)俗(sú)易(yì)懂(dǒng)的(de)方(fāng)式(shì)，用(yòng)视(shì)频(pín)和(hé)文字(zì)给(gěi)孩(hái)子(zi)讲(jiǎng)述(shù)人(rén)工(gōng)智(zhì)能(néng)的(de)原(yuán)理(lǐ)、应(yīng)(yīng)用(yòng)(yòng)及(jí)(jí)其(qí)(qí)对(duì)(duì)社(shè)(shè)会(huì)(huì)的(de)(de)深(shēn)(shēn)远(yuǎn)(yuǎn)影(yǐng)(yǐng)响(xiǎng)(xiǎng)。

快(kuài)(kuài)跟(gēn)(gēn)我(wǒ)(wǒ)们(men)(men)一(yī)起(qǐ)开(kāi)启(qǐ)这场 AI 之旅吧！

2022 年底，“ChatGPT”这个词悄然进入公众视野。

如果你没听说过，或是只把它当成一个聊天机器人，那就太小看它了。

很多行业，比如新闻、律师、教育、客服咨询等等，已经把 ChatGPT 应用在了生产、服务中。

那么，ChatGPT 究竟是什么？本期内容，我们就来了解 ChatGPT 和它背后的技术。

我们先从它的名字说起。

Chat，直译为“闲聊”，可以说 Chat GPT 是用起来如同微信或 QQ 的一个聊天应用。只不过，在那一头的不是你的朋友，而是一个 AI。

而 G、P、T 才是更重要的部分，它是“Generative Pre-trained Transformer”的缩写。

Generative 意思是“生成式的”，这意味着它能够根据接收到的信息，生成文本做出回应。

Pre-trained 指“预训练的”，是说在跟你对话之前(qián)，Chat GPT 就(jiù)已(yǐ)经(jīng)经(jīng)过(guò)了(le)大(dà)量(liàng)的(de)文本(běn)训(xun)练(liàn)。

Transformer 是(shì)一(yī)种(zhǒng)深(shēn)度(dù)学(xué)习(xí)的(de)模(mó)型(xíng)。可(kě)以(yǐ)说(shuō)，transformer 是(shì)整(zhěng)个(gè) GPT 的(de)核心。

要想理解“ChatGPT”，我们就要从 AI 是如何学说话这件事情说起。

人类说话，是从脑海中的“词典”里挑出一些词，组成句子。如果只是简单地让 AI 从词典里随机取词，组成的句子大概率是不通顺的，没有任何含义。

为了让计算机能够说出人类(lèi)的(de)语(yǔ)言(yán)，人(rén)们(men)引(yǐn)入(rù)了(le)马(mǎ)尔(ěr)科夫模型。简单的说，马尔科夫模型能把一个词和前面的几个词建立起联系。

举个例子，根据语料库(kù)，“苏(sū)打(dǎ)”的下一个词是“饼干”或“汽水”的概率远比“桌子”或“胡萝卜”之类的词要高。假如继续在“苏打”前面添加一个“吃”字，那么，填“饼干”的可能性又比“汽水”的概率要高。通过这种方式生成的句子，就比随机生成的语句，更接近人类语言。

图库版权图片，转载使用可能引发版权纠纷

基于这样(yàng)的(de)思(sī)考(kǎo)，在(zài) 20 世(shì)纪(jì) 70、80 年(nián)代(dài)，一(yī)种(zhǒng)叫(jiào)做(zuò)循(xún)环(huán)神(shén)经(jīng)网(wǎng)络(luò)的(de)模(mó)型(xíng)诞(dàn)生了。循环神经网络简称 RNN，它能够很好地考虑词语的顺序性以及前面词语对后面词语的影响。

但 RNN 也有一些局限性，比如它存在“梯度消失”效(xiào)应(yīng)。随(suí)着(zhe)句(jù)子(zi)长(zhǎng)度(dù)增(zēng)长(zhǎng)，说(shuō)着(zhe)说(shuō)着(zhe)，它(tā)就(jiù)忘(wàng)记(jì)前(qián)面(miàn)说(shuō)了(le)什(shén)么(me)了(le)。

于(yú)是(shì)，人(rén)们(men)对(duì) RNN 模(mó)型(xíng)进(jìn)行(xíng)了优化，开发出了长短期记忆模型，简称(chēng) LSTM，以(yǐ)解(jiě)决(jué)“健(jiàn)忘(wàng)”的(de)问(wèn)题(tí)。

但(dàn)这(zhè)还(hái)不(bù)够(gòu)。基(jī)于(yú) RNN 的(de)模(mó)型(xíng)有(yǒu)两(liǎng)个(gè)问(wèn)题(tí)，一(yī)是(shì)学(xué)习(xí)速(sù)度(dù)太(tài)慢(màn)。二(èr)是对于词义的理解不够好。

为此，新的神经网络架构 transformer 出现了。基于 transformer 的模型有着非常快的学习速率，能够在短时间里学习大量的文本资料。

目前(qián)，跟(gēn)人(rén)们(men)对(duì)话(huà)的(de) GPT 模(mó)型(xíng)经(jīng)过(guò)了(le)至(zhì)少(shǎo) 45TB 的(de)文本(běn)资(zī)料(liào)训(xun)练(liàn)。

并(bìng)且(qiě) transformer 中(zhōng)引(yǐn)入(rù)了(le)一(yī)种(zhǒng)叫(jiào)做(zuò)“self attention”的(de)技(jì)术(shù)。这(zhè)让(ràng)它(tā)能(néng)够(gòu)根(gēn)据(jù)文章(zhāng)中(zhōng)的(de)其(qí)他(tā)词汇(huì)，辅(fǔ)助(zhù)理(lǐ)解(jiě)词义，更好地听懂我们所说的话。

当然了，GPT 还在不断优化中。比如 GPT-4.0 就具备了更强的逻辑推理能力，甚至能理解图片上的内容，前景不可估量。

其实，像 GPT 这样参数极其复杂、需要经过大量文本训练的语言模型，被称作大语言模型。除了 GPT，比如阿里的 PLUG，华为的盘古-α、百度的 ERNIE 3.0 等等，都属于大语言模型。

在这些大语言模型的帮助下，我们的工作、生活方式，可能发生巨大的改变。

你，准备好了吗？

策(cè)划(huà)制(zhì)作(zuò)

本(běn)文为(wèi)-创(chuàng)作(zuò)(zuò)培(péi)(péi)育(yù)(yù)计(jì)(jì)划(huà)(huà)作(zuò)(zuò)品(pǐn)(pǐn)

出(chū)(chū)品(pǐn)(pǐn)｜中(zhōng)(zhōng)国(guó)(guó)科(kē)(kē)协(xié)科(kē)普(pǔ)部(bù)

监(jiān)制(zhì)｜中(zhōng)国科学技术出版社有限公司、北京中科(kē)星(xīng)河(hé)文化(huà)传(chuán)媒(méi)有(yǒu)限(xiàn)公(gōng)司(sī)

作(zuò)者(zhě)丨(gǔn)北(běi)京(jīng)云(yún)御(yù)纪(jì)文化(huà)传(chuán)播(bō)有(yǒu)限(xiàn)公(gōng)司(sī)

审(shěn)核(hé)丨(gǔn)秦(qín)曾(céng)昌(chāng) 北(běi)京(jīng)航(háng)空(kōng)航(háng)天(tiān)大(dà)学(xué) 自(zì)动(dòng)化(huà)科(kē)学(xué)与(yǔ)电(diàn)气(qì)工(gōng)程(chéng)学(xué)院(yuàn) 副(fù)教(jiào)授(shòu)

策(cè)划(huà)丨(gǔn)符(fú)思(sī)佳(jiā)

责(zé)编(biān)丨(gǔn)符(fú)思(sī)佳(jiā)

审(shěn)校(xiào)丨(gǔn)徐(xú)来(lái) 林(lín)林(lín)