闲话 GPT-3
人工智能一直是人类的梦想,就像人类一直在探索太空、寻觅地外智慧伙伴一样,人们从来 也没有停止用自己的双手和大脑创造自己的智慧伙伴。通用计算机的诞生极大地促进了人工 智能的发展。
就从人们喜闻乐见的游戏来说,1996 年 IBM 的“深蓝”和国际象棋世界冠军卡斯帕罗夫交 手,结果卡斯帕罗夫以 4:2 获胜。时隔一年,“深蓝”再度和卡斯帕罗夫对决,并以 3.5:2.5 微弱的优势取得了胜利。这是第一台战胜人类国际象棋冠军的机器,它揭开了人工 智能轰动全球的人机大战的序幕——人类和自己创造的智慧机器相互较量的动人场面。
2016 年,谷歌旗下 DeepMind 开发的 AlphaGO 围棋程序在举世瞩目的人机大战中 4:1 完 败人类最优秀的围棋世界冠军——李世石,而围棋一直被认为是经典游戏中最复杂的项目。就 连李世石本人也说:本以为它和其他机器一样只知道计算,没想到它的下法很有创造性。
人和机器玩游戏现在已经被证明是没有胜算了。无论是“深蓝”每秒 2 亿步走法的运算能力, 还是 AlphaGO 走法搜索网络和深度神经网络相结合的深度学习模型,看来都超越了人肉大 脑的能力。
最近,OpenAI 的 GPT-3 在多项自然语言任务方面的表现令人刮目相看。GPT-3 可以完成高 质量的翻译,可以回答人们提出的问题,可以写出能够发表的文章。这似乎又是一场人工智 能完胜的竞赛——许多人在考虑到哪里去找饭碗的问题了。
GPT-3 的论文摘要放在 https://github.com/openai/gpt-3
。 它描述的是一个自然语言
(NLP)的学习模型,其特点是预先用大样本训练好的模型在新的任务领域只需要做非常有限
的训练就可以取得非常好的测试结果。这个很象人类掌握语言的能力——只需要少量的学习就
可以自如地运用一种新语言。
具体来说,GPT 是 Generative Pre-trained Transformer(通用预训练转换器)的缩写。 GPT-3 的前身是 GPT-2,它是一个 NLP 语言的深度学习模型。原理分析需要太多专业知识, 我们只要了解这个模型专注于单向语言训练——利用多参数进行暴力扩张型深度学习,以求训 练出具有优质结果的参数集合。GPT-2 有 15 亿个参数,而 GPT-3 有 1750 亿个参数。两 个模型都是接收文本输入,然后预测下一个单词作为输出。就像前面说的,GPT-3 的表现超 强,多项测试的结果都远优于其前辈 GPT-2。其最显著的特点就是在预先训练之后,基本无 需额外的训练就可以在新场景达到人类很难辨别是否为机器产生的语言结果。
虽然 OpenAI 没有强调 GPT-3 是通用型人工智能,但是各种媒体和部分专业人士已经开始 认为这是通用人工智能的巨大进步。难道 GPT-3 具有了人类的语言能力了吗?人工智能就 要超越人类了吗?
非也。还有许多人工智能业内人士,特别是自然语言的专家对此持怀疑态度,并提醒大众不 要为媒体误导。他们认为,乍看起来 GPT-3 输出类似人类的语言和文章的能力确实很惊人, 不过深究起来就会出现问题——除了语法和口气之外,GPT-3 并不知道自己在说什么。它充其 量就是在海量的阅读数据之后进行拷贝和粘贴的机器,如果混混娱乐圈也还凑合;GPT-3 说 的其他事情基本没有可信度——它还不是一个有理解力、能够推理的人工智能。
我们可以列举一些特别的测试结果,很有意思:
- 生理推理
GPT-3 在被输入一段喝葡萄汁的描述之后,输出: “You are now dead.”(你现在死了。)
看来它没有在网上学会葡萄汁可以饮用。
- 物理推理
人们告诉 GPT-3 餐桌太宽,无法进门。它回答说:
把门切开。(实际上,人们会让桌子的腿先进去。)
- 心理推理
当把一段购买礼物的对话说给 GPT-3 之后,GPT-3 推荐的礼物却是对话里明显不推荐的。
当然,还有许多诸如 GPT-3 无法追踪物体的位置、无法预见合理的后果等问题,我们就不 再一一举例了。这些都是人工智能领域的熟知问题,而 GPT-3 并没有有效地解决——GPT-3 巨大的参数量和训练数据并没有带来可信的人工智能!
可见,GPT-3 虽然通过算力提升取得了自然语言的乱真,但是它更象是一个模仿演员。它可 以惟妙惟肖地模仿人类的语言,但是它没有思考,它的输出也没有给人类带来新知识。特别 令人担心的是,如果有什么是它不知道的,它会输出乱真的信息:所以我们要警惕来自 AI 的假新闻。
我们不用过分担心 GPT-3 会夺去人们的工作,它还不能——就让它先混混娱乐圈吧。就像玩 人机大战游戏一样,让人们在不断的娱乐之中不懈地追寻人工智能的梦想。毕竟把万物当成 几万亿个参数还是过于乐观了点儿。