这是一个对GPT讲解的非常透彻的视频,我把它变成文字,并且花时间整理了出来,没有全盘照搬,挑了一些重点,想了解GPT的,不妨读此文,我想对你一定是有震撼力的。
这GPT是将整个影响人类社会的,但它没有向国内开放,通用媒体缺少相应的知识,所以在这里给大家科普一下GPT的原理,并提供一个视角让大家意识到它为何如此重要。让那些没有机会的人,也能应对这即将到来的变革。这次的阐述,抛开具体技术细节,少用专业用语,讲解GPT的原理和制造过程,以及涌现的能力和如何面对。
一 GPT的底层原理
尽管它展现的能力很惊人,但实际上没有那么神,它没有意识,没有欲望,没有情绪,甚至都不知道自己在说些什么?它就像一只学话鹦鹉,GPT的功能非常简单,四个字概括,就是单字接拢。
这是一个模型,当你给它一个字的时候,它就会生成下一个字,最初它的回答是随机的,如果你想让它适合你的需要,你就要不断地去训练这个模型,给它输入信息,也就是学习材料,让它学习了你给的学习材料,让它知道你的想法,它就会按照你的想法回答问题。不同的人训练模型,那么说法也不同,同一个问题由于两个人训练的不同,模型就有了两个答案,那么它会如何回答呢?那就是随机性了,这里要说的就是概率了,因此一个问题可以回答有不同版本。
其实不用单字接拢GPT也能回答问题,因为在制作时,就已经输入大量的内容,直接搜索就可以得到答案,之所以要训练GPT,就是要训练它如何正确的回答,同时在它回答没有遇到的问题时,根据自己所学进行回答,举一反三地目的也叫泛化。
很多人都错误的认为,GPT是搜索引擎的升级版,其实不然,搜索引擎不能回答数据库里没有储存的内容,而GPT可以,因为它是根据生产原理,经过不断地学习,它可以回答它没有遇到过的问题,因此它被称为生成模型。
这是它的长版,而它也有搜索引擎没有的短版。搜索引擎不会混淆记忆,但chatGPT能,为了能应对没被记忆的情况,它会学习语言单位的规律来生成答案。然而这样如果出现了实际不同,但碰巧符合同一个规律的内容,模型就有可能混淆它,最直接的结果是,若现实中不存在的内容,刚好符合它从训练材料中学到的规律,那么chatGPT就有可能对不存在的内容,进行合乎规律的混合捏造,这就是有人问它实际性内容时,可能看到它胡说八道。
另一个,它的内容无法被直接增删改查,这就导致两个问题,第一,由于我们很难理解它所建构的规律,就无法查看它记住了什么?学到了什么?只能通过多次提问来猜测它的所记所学,这难免在使用时带来安全风险。
第二 由于只能通过两次调整模型(即两次训练),来增加删除修改它的所记所学,这难免在更新的时候降低效率。chatGPT高度依赖数据,呀就是学习材料,想要让chatGPT能够应对无数未见情况,就要给它数量足够多,质量足够高的学习材料,否则它给出的回答以偏概全,此外,它的胡编也需要用优质的学习材料来纠正。
看到这里,你会感觉它也没有什么特别之处,那有网上说的那么玄乎,基础结构都很简单,为何能火爆到今天这种程度,还要影响整个社会。上面只是GPT的基础原理,而不是chatGPT的,chatGPT在此基础上有三个训练阶段,
二 GPT的三个训练
让机器理解人类语言的难点是,同一个意思可以有多种不同的表达方式,同一个词,与可以用同一个语言描述,在不同语境中,又有不同含义,想解决这个问题,就要让机器学会各种语义关系语法规律,那些表达是同一个意思,GPT的方法是让模型看到尽可能多的尽可能丰富的【语言范例】,我们把这个阶段称作开卷有益。
G 代表生成 T 代表一种模型 P 代表开卷有益
开卷有益就好像在鹦鹉旁边放了一个电视机,把内容都播给它听,让它自己学习,那么多少能够呢?这让我们回忆一下历史,其实研发GPT的公司OPENAI 之前还做过几代模型。
GPT3最大模型参数到了1750亿,是第二代的116倍,所使用的学习数据更是达到了45TB, 被称为超大语言模型。
当单字接拢模型的规模达到一定程度后,就会涌现理解指令,理解例子,思维链的能力,到此为止已经讲完了chatGPT的基础原理。
三 未来影响
像比尔盖茨一些人认为chatGPT像互联网一样意义重大,但有一些人使用chatGPT后,感觉并没有那么神,是人们夸大了它的作用。实际上从产品形态和创新意义上来看,chatGPT确实不够完善,它来自于论文和AI团队的长期积累。但它确实是有里程碑意义的,它的意义并不在于产品和创新,而在于完成了一次验证,让全球看到了{ 大语言模型的可行性 }
{ 大语言模型能为人类做什么 } 只有弄清楚这一点,才有依据判断它对社会的影响。既然是语言模型,那它自然精通语言,可以校对拼写,检查语法,转换句型,翻译外语,对语言组织规则的遵守,已经超越了绝大多数人。有个大学教授发现有个学生的毕业论文是由chatGPT写的,之所以发现是因为论文的语法过于完美。这位教授表示,在语言组织方面,chatGPT超过了百分之九十五的学生。
但那又能怎样,无非是多了一个更好的语法检测器,至于影响整个社会吗?精通语言只是大语言模型的一个方面,它真正有价值的在于,在精通语言的基础上,还能存储人类从古至今积累的世界知识。人类自身是一个相当脆弱的物种,跑不过马,斗不过熊,嗅觉不如狗,视力不如鹰,能从众多高等动物中脱颖而出的原因,就是语言中积累的世界知识。
其它高等动物虽然也能通过实践,建构关于世界的认知,获得相应的改造能力,可这些认识仅存在于个体的脑中,会随着个体的死亡而消失。,无法代代积累,但语言的发明,允许人类将个体所获得的认识存储在体外,进而打通了整个物种的过去和未来,即使个体死亡,该个体的认识,也能依附语言,被其他个体继承和发展下去。
作为现代人的我们,并没有在生理上比前人更优越,拥有更强能力的原因,只是语言中积累的知识比过去更多。当人类步入文明社会后,尽管已不必在野外求生,但仍然需要群体协作地创造知识,继承知识和应用知识。满足社会的需求,来维持自己的生计,而这三个环节,全都是依靠语言来完成。
由于大语言模型所能改善的是,群体协作过程中,创造,继承,应用知识时的语言处理效率,所以随着技术的发展,大语言模型对社会的影响范围将和当初电脑的影响范围一样全社会,我们随便就能列出,很多能跟大语言模型相结合的场景,跟搜索引擎结合,帮助用户精准寻找和筛选信息,跟视频会议结合,多语翻译,会议记录与总结,谈话查找……。
稍微留意一下就会发现,chatGPT的报道主要分布于新闻界,学术界,教育界,商业界和内容生产行业。商业界有动作很好理解,毕竟商人对市场的感知敏锐。前三个领域动作频繁,正是因为它们与语言中的知识密切相关。学术界专注于创造知识,教育界专注于传承知识,而新闻界专注于传播信息,因此受到的影响最大。
这也是为什么,被称为美版头条的数字媒体公司BuzzFeed,宣布将使用chatGPT作为内容创作的一部分后,其股价暴涨三倍,尽管该公司之前曾以经济恶化为由,裁减了百分之十二的员工。大语言模型对教育界的影响更加强烈,主要不是因为学生可以用它来写作业,而是因为它对我们现有的人才培养模式,提出了新的挑战。真正令人担心的是,按照现有模式培养出来的学生,在未来5—10年后,还能不能找到好工作?能否适应未来的就业市场?现代教育技术仍是一种以传授既有知识为主的培养模式,起源可追溯到十八世纪的普鲁士教育。
但在飞速发展的今天,市场变化越来越快,工具更新换代频繁,这种传授既有知识的培养模式,越来越难适应时代。因为无论传授什么既有知识,毕业前基本都会过时,所有人都需要不断学习新知识。因此,自上个世纪六十年代开始,终身学习的理念一直被反复推崇,人们也早就意识到,要将培养模式转变为,以培养学习能力和创造能力为主,这样无论学生毕业多久,工具变化多快,都可以通过高效的学习能力快速掌握新技能,从实践中创造新知识。
但是,要实现这个目标并不容易,首先就需要一个更适合的理论框架来描述现象。因为我们在前面已经看到了,大语言模型也会创新,因此单纯喊出“ 要培养创新型人才 ” 没有实际指导意义,必须要对知识层级做更精细的划分,将更高层次的创新和大语言模型的创新加以区分,明确指出什么样的创新人才才值得培养,又要如何培养,提供相应的培养工具和易于实施的普及方案,并在各方角色的共同配合下,才有可能成功,因此一直推进缓慢。
但chatGPT的出现,迫使人们必须要加速这一推进了。因为一个非常现实的问题正摆在前面:5年后,如果学校传授的既有知识,任何人靠大语言模型就能实现,那该怎么办?这个问题可不是只靠禁止学生使用chatGPT就能解决的,因为未来的大型语言模型只会更出色,更快速,更便宜。
在这种情况下,相当于人人都配有一个熟读人类既有知识的“ 工语嫣 ” ,市场可不会因为学校的禁止而集体不用。另一方面,大语言模型对网络安全也带来了挑战。之前讲过,chatGPT在“ 开卷有益 ” 阶段,会对海量的互联网内容做单字接拢。然而,互联网内容中,不免存在一些带有偏见,歧视文化和意识形态侵袭等危害性言论。
chatGPT就有机会学到这些危险性言论的模式,输出不良回答。此外,也会有人刻意提问,“ 如何编造杀猪盘 ” 等问题,用于不法行为,尽管在模板规范阶段有约束,但chatGPT毕竟不是像人类那样,真正地学会了知识,只是学到了承载知识的语言搭配模式。因此,仍有可能被诱导输出帮助犯罪的知识,从而使防范违法犯罪变得更加困难。
在群体协作时,人们使用的语言难免会泄露工作内容,进而泄露商业或国家机密。如何确保提问的内容不被泄漏,将是各个机构都关心的问题,很可能未来每个机构,都会自己部署大语言模型来确保安全,但这样又无法发挥数据规模效应。因此,如果在保证各机构数据安全的前提下,实现联邦学习,又有了新的挑战。这些安全问题加起来,你就会发现,我国只能研发自己的大语言模型。
总结
四 如何应对
chatGPT非常强大,但它仍是一个没有意识的工具,不会主动配合人,面对空洞的提问就给出空洞的回答,需要被正确的使用,才能发挥最大的价值。但我们却能看到,很多人专门将chatGPT用于其最不擅长的领域,突出其缺点,或用最顶尖的标准,凸显其不足。很明显,目的就是要否定它。这种锤了无用,因为它没有手灵活的否定,看起来不可理喻,但实际上却是人类在感受到威胁时的本能反应,因为我们害怕被取代。
然而,很多人却害怕错了对象,把矛头指向了chatGPT,指向了一个工具。可工具无法取代人,只有会用工具的人取代不会用工具的人。任何新工具都可能引起取代,因为如果自己不用而别人使用,就会失去工具带来的竞争力,最终人们都不得不用。这种囚徒困境与chatGPT无关,即使让chatGPT从世上消失,取代现象也会随着其它新工具的出现而出现,也不会因为人的害怕和抵触而消退。
因此,应对的第一步,就是要克服自己的抵触心态。既然时代的车轮无法阻挡,那么抵触新工具,只会让我们更晚接触新工具,更晚获得工具带来的优势。应对的第二步,就是做好终身学习的准备,因为chatGPT之后,还会有新工具。这一点看似简单,但对于习惯了应试教育的人而言并不容易。
应试教育是一种高度特化的教育。由于最终的考核指标是分数,因此不论教育系统的设计目标是什么,最终学生的行为都难免会被特化为仅服务于分数,凡是不能提高分数的行为,都不被视为学习,即使是提高创造力的行为。这样长期训练的结果是,很多学生对学习词的理解变得片面和扭曲。
每当提到学习这个词时,这些学生就会联想到那种反人性的规训。好不容易熬到毕业了,现在被告知还要再学习,他们情绪上当然要抵触。好在这种抵触,很多人在工作一段时间后,就能克服。因为他们慢慢会意识到,市场和工具的变化究竟有多快,在心态上也开始积极拥抱学习。然而不幸的是,即使心态上不再抵触学习,也还不得不克服过去形成的错误习惯,重塑自己的终身学习能力。
这一步是最困难的,不仅要去掌握抽象层次更高的认识论,符号学,数学建模,批判性思维等内容,还要克服长期养成的习惯,但十多年的应试规训对一个人的影响太深远了,很难一朝一夕改变。每当这些人想学习时,就会条件反射地重拾应试的学习习惯,自己把自己变回教室里等着灌输的学生,会习惯性地等待别人的教授,习惯性地记忆别人的总结,很少思考知识是怎么是来的。比如不少刚到大学的高中生会觉得,实验是浪费时间,不如赶紧列出知识点让他们去记。
他们已经懒得思考事物之间的关联,只想快点看到老师的总结。很多人意识到要学习使用chatGPT时,脑中闪过的第一件事也是找本书或买个课,觉得没有这两个东西自己就学不了了。去年我们组织了建构社群,想要帮助人重塑终身学习的能力。可在社群里也会发现,即使成员在认知上已经明白,不能脱离实体地去记忆符号,仍会在习惯上一次又一次地犯错,不得不反复提醒。
能感觉到习惯了应试教育的学生,就仿佛是动物园养的狮子,从小到大吃的都是送到嘴边的食物,以至于不认识野外的食物,忘记了如何自己获取食物,独立生存的能力逐渐退化,难以回到野外了。但即便再困难,也必须要克服,必须要完成对终身学习能力的重塑。因为过去那种学个知识,干一辈子的年代,已经逐渐远去。
经历了多次科技革命的我们,也正处在一个加速时期,新工具的出现速度会越来越快,取代现象也会越来越频繁。只有学习能力才是应对未来的根本。或许我们的后代,可以生下来就处在全面培养学习能力和创造能力的系统中,从小就训练,适应快速变化的学习能力和创造能力。但对于转型期的我们来说,只有靠自己,训练自己的终身学习能力,来应对随后加速变化的市场和工具。
最后,chatGPT所掀起的浪潮,已经不仅仅涉及个人,还关乎各国未来在国际中的地位。美国前国务卿认为,这项技术的进步,将带来新的认知革命,重新定义人类知识,加速我们现实结构的改变,并重组政治和社会。2月20日,法国负责数字转型的代表发声,chatGPT确实存在歧视和操纵等风险,但法国不能错过这一波人工智能的新浪潮,应通过明确规范和加强管控来降低风险。
3月5日,我国科技部长也表示,要注重科技伦理,趋利避害,并提到科技部在这方面的重视和布局。近期我国的各领域学者也都针对chatGPT,举办了非常多的研讨会,现在大家应该能明白,chatGPT到底是不是炒作了。再次强调,大语言模型所影响的是,知识的创造,继承,应用。这三个环节所构成的学习系统,是任何生命系统得以延续的根本,决定着一个细胞个体文明,认识世界和改造世界的能力。在整个人类史以及整个生命史中,凡是学习系统的升级都会伴随生命的跃升,无论从单细胞生命到多细胞动物,还是从智人的崛起到多次科技革命,看过学习观演化史部分观众,应该都能理解这一点。
在去年五月发布的视频中,我提到人类正处在下一次跃升的进程中,但还缺少一项能升级学习系统的技术,而大语言模型很有可能就是这项技术。因为它正在改变人类,群体应用知识的方式和继承知识的方式,甚至可能在未来形成人机合作的科研,改变人类创造知识的方式,若真能如此,那么人类必将会因此步入下一个文明形态。
中国措失过三次工业革命,这些年我们一直在实现民族的复兴,不能再错过这一次。未来的大语言模型能够让每个人更快地获取承载知识的符号,会降低继承型人才的竞争力,,不过每个人的学习能力和理解能力,将成为驾驭这项技术的瓶颈。如果个体的学习能力没有相应地提升,就无法充分发挥这项技术的优势。
所以,如果我们全都加强对学习能力和高层次认知能力的训练,就能让我国在未来的国际竞争中获得优势。总的来说,chatGPT的出现,确实带来了各种各样的问题和风险:存在准确性和可解释性的缺陷,存在科技伦理安全和结构性失业的冲击,存在民族文化和意识形态的侵袭。但这些问题和风险,所有国家都要面对,一样会有害怕和抵触的情绪,我们应该利用这一点,率先克服抵触心理,反过来抓住chatGPT的机会,率先研究大语言模型的改进和配套技术的重组,率先培养终身学习能力和推动教育改革,率先做好科技伦理的约束和换岗转行的防备,主动输出我们的文化和价值观。
以上对chatGPT的讲解结束,建议读完全部。