新范式一旦成立,就会形成一种人工智能跟知识发现的新飞轮。
整理|孔月昕
编辑|马吉英
头图摄影|邓攀
ChatGPT“晕菜”了。
去年第一次跟ChatGPT对话时,周伯文特意给它出了一道难题:“我的朋友比他领导大10个月,他们现在结婚3年了,请问结婚50年时他比他的领导大几个月?”
ChatGPT也的确被这个脑筋急转弯似的简单推理难住了,“它一五一十地跟我分析计算,大意是现在大10个月,结婚3年了,离他们结婚50年还有47年,一年有12个月,47×12等于多少,再加上10个月,那时候他会比他的领导大400多个月。”
周伯文是清华大学惠妍讲席教授、清华大学电子工程系长聘教授和协同交互智能研究中心主任、衔远科技创始人,由于长期研究自然语言、大模型和人机对话相关技术,他清楚地知道当前技术的优势和短板。周伯文表示,目前写作和总结类相关问题,ChatGPT可以有理有据地高情商回答,但一旦涉及到知识与推理的结合,它的短板就显现出来了。
尽管如此,周伯文依然非常看好ChatGPT的前景,“我们对ChatGPT的态度是‘到来不吃惊,影响不低估,未来有办法’。”
目前ChatGPT的应用非常广泛,这背后需要大量的数据和算力去支持大模型。在周伯文看来,虽然国内资金充裕和能力十足的大厂纷纷下场,但受限于自身业务发展,而且也会经历一个较长的研发时间,再加上大厂在公司发展决策上的种种顾虑,比如管理层和技术leader的认知和预期是否一致,还要考虑股价、投资回报率等,究竟谁(的大模型)能跑出来现在要打一个问号。
周伯文也提出了另一条可行的路径,“我认为在垂直领域里结合应用端到端的去训练、逐步发展为大模型的模式是一条值得重视与探索的路,尤其是对创业公司来说。因为目前的市场足够大,创业公司只要先做好一个垂直领域,帮助自有的大模型带来数据、场景的闭环,也因为客户价值清晰明确,有明确的付费模式支持,模型越来越强大的路径就会打通。”
而这一端到端路径也在周伯文的创业过程中逐渐得到验证。2021年底,周伯文创立衔远科技,并研发了多轮对话模型ProductGPT,旨在与专业人员深度交互协同,帮助企业高效打造爆款创新产品。3月1日,衔远科技宣布已完成由启明创投领投,经纬创投跟投的数亿元天使轮融资。
近日,周伯文在与《中国企业家》的一次内部交流中,发表了主题演讲《When we chat about ChatGPT,what do we chat about?》,主要介绍了协同交互智能与多模态学习领域内的最新进展,与对ChatGPT在未来产业应用的展望。
本次演讲要点包括:
1.ChatGPT的出现是必然的,OpenAI这家公司首先做出来则是有一定偶然性的。
2.ChatGPT还远远不到通用人工智能的程度,其推理、知识等能力存在明显短板。
3.ChatGPT第一次实现了人跟AI多轮协同共创,这带来了一个巨大的范式转移。一旦范式成立,会形成一种人工智能推动新知识发现的新飞轮。
4.研发通用大模型的成本非常高而且是一个不断提升的移动目标,从垂直大模型加场景端到端做起,慢慢迭代出更大的商业模型,或许是创业公司更适合的做法。
5.AI的下一个突破会从纯虚拟的存在转到帮助人在物理世界、生物世界和信息世界里更高效洞察、形成新知识并完成任务,创造更高价值场景。
以下为演讲内容,有删减。
ChatGPT的短板与长处
对于我们业界研究的人而言,我们很早就预见了AI能力的涌现。AI的发展是有一个长链条存在的,从机器学习到神经网络到深度学习,到Transformer模型,再到GPT-3,InstructGPT,一直到ChatGPT,整个路径非常清晰,所以ChatGPT的出现并不是一件完全不可预见的事情。
即使没有OpenAI,AI能力技术也会在这一两年里涌现,所以我认为ChatGPT的出现是必然的,OpenAI这家公司做出来则是有一定偶然性的。
OpenAI为什么能做出ChatGPT呢?
我认为,虽然这个工作本身是OpenAI自己参与,但绝对离不开整个学术社区的帮助。
像我们说的Transformer模型,就是基于多头自注意力等学术理论的进一步深入,并在成功后获得更多研究分析其机理的合理性。这些学术社区的研究验证了大模型在被大量数据训练后,确实能存储丰富的知识了,它的表现就不是随机生成的过拟合。这些进展让公司更有勇气砸大量金钱去训练模型,一定需要证据证明方向是正确的,而这些研究就是一个非常好的证据。
另外,还一定要有竞争,如果GPT模型没有跟同期的BERT(Google的预训练模型)模型长期竞争,它的进展不会这么快。
ChatGPT还对两个理论进行了验证,一个是数据越多,能力越强,就是线性放大的理论“Scaling Laws”;另一个是“能力涌现”,就是模型大到一定程度后,它就会突然开始融会贯通了。
但在我看来,ChatGPT还远远不到通用人工智能的程度。ChatGPT证明了通过大量的无监督学习的有效性。但人工智能要更具通用性,还需要具备知识、计算、推理这三种能力的组合能力。
ChatGPT目前做得比较好的是计算,在推理上也出现了一些能力涌现,但复杂推理的程度比较低。比如说人可以进行多跳推理,直接从a推导出c来。但ChatGPT的推理能力在两跳以上后,它就会迅速降低到20%的准确率,因此我说这个能力还远远不够。知识层面,目前ChatGPT的知识是不完备的。
ChatGPT的第二个短板,就是模型越大并不一定意味着越好。当训练模型规模达到一定界限时,AI在某些任务上的表现反而会下降。因为目前AI真正的想象力和推理能力有很大的缺陷,一旦投喂数据越多,模型越大,它的思维和创造力就会被固化了。
ChatGPT能做到现在这个地步,除了底层大模型的能力涌现之外,它有一个非常主要的贡献,就是通过人的协同和交互来加强AI的能力。
举个例子,如果我们问GPT-3(ChatGPT的基础模型),请跟一个6岁的小孩解释登月工程。找到可能的答案对GPT-3一点都不难,它至少能找到4个答案:a是从万有引力出发解释这个问题;b可以从历史出发,比如苏联卫星上天了,导致美国的危机感,所以启动登月工程;c可以从天文学出发,月亮是地球的一个古老卫星;d可以从人类的美好愿望出发,月亮上有嫦娥有玉兔,我们人类老想去那里。
这个问题到底难在哪?是GPT-3不知道哪个答案更适合给6岁的小孩。
OpenAI就想了一个非常好的办法,就是让人给答案进行排序。在面对6岁小孩时,人的排序就是d>c>a=b,即从d开始讲,6岁小孩更容易接受。当人把反馈给了GPT-3后,它就会把反馈学去了,学会对答案怎么排序,排完序之后的模型,就从原来的GPT-3变成InstructGPT(ChatGPT的初始版本)。GPT-3大概有1750亿训练参数,而InstructGPT只有它1%的大小,即13亿参数。但是这个模型它学完后,你再去问它,给6岁小孩写一首关于青蛙的故事,他就会在开头说once upon a time,类似于儿歌一样的开头。
由此可见,人的反馈对ChatGPT非常重要,能够让它以人的价值观和理解去学习排序,这也是人类用户感觉到ChatGPT有很高情商的原因。但这是很多人担心的,ChatGPT能学习到带有带有训练用户价值观的输出,通过排序打分会改变它采用答案的优先级,这也是为什么很多监管部门在关注这个问题的原因。
此外,ChatGPT的多模态协同交互也非常重要。同时,AI与环境的协同演化也很重要。ChatGPT这个人机协同的系统,很难用到非常复杂的需要实时的终端里去。如何在不同的边缘计算资源、通信带宽条件下,有效利用类ChatGPT的能力?这是产业互联网及其生产实践里的一个非常重要的话题。
我们现在也在研究如何让云端的ChatGPT的能力,能够部署到工厂的生产、设计、实践各个环节里进行有效利用,通过终端跟专业用户的交互协同,把人的专业知识学习放到边缘端的模型里,同时又能让云端的ChatGPT根据大量边缘端的进步不断迭代。按照InstructGPT的模式,就变成了原来是云端模型直接跟人交互,现在是云端大模型与边缘小模型交互,这些小模型再去跟人交互,这就是我们团队研究的AI与环境的协同。这也是在学术界,值得我们未来10年去研究的重大课题。
一个巨大的范式转移
ChatGPT的出现是一个里程碑事件,过去二十多年里,为公众所熟知的DeepBlue、IBM Watson和AlphaGo等AI应用,往往通过与人类竞争制造热点,并以超过人类的效果获得广泛关注,而ChatGPT第一次提出了人跟AI协同共创,这带来了一个巨大的范式转移。即人工智能的新一轮创新一定会围绕人机的协同共创来展开。这个路径展开后会带来更大量的应用,进而带来生产力格局的演变。这对人工智能技术企业的影响非常深刻。
另外,从更高层面上来讲,ChatGPT对相关行业影响也非常深刻。
我举一个科研的例子,《Nature》杂志1月5日的封面文章,主要就讨论了过去几十年人类科学的论文越发越多,但突破性的成果越来越少的问题,不光在中国,整个世界都出现了同样的情况。
我认为重要原因之一就是随着科技的大量发展,每个学科都已经非常完善,学科里面开始形成了信息茧房。在一个学科非常小的子领域内,论文就越来越多,而在这个领域里,研究人员要读大量的论文才能覆盖一个很小的领域,所以信息茧房内的信息过载,茧房之间壁垒过高,最终导致一个研究人员要花大量时间去掌握这些知识,那他创造的时间就少了,交叉创新的机会就更少了。
设想如果人工智能系统可以把大量领域里的所有基础内容全部掌握,然后去跟人对话、去交流、可以帮人做各种验证、论证和计算,和启发人,这样最终人就可以有更多时间做最有创造力的突破性工作。
这就是我们讨论的一种新范式。这种范式一旦成立,意义极其巨大,会形成一种人工智能跟知识发现的新飞轮。即人工智能做得越强,它的知识、理解、推理等组合能力越强,就越能帮助人类发现更多更好的突破性的科学进展和新知识,包括新药的发现、癌症的治疗、人脑的研究等。
而随着这些新知识的获取,我们就越能帮助世界创造出更好的人工智能,新的人工智能突破又能带来更多知识,形成人工智能-知识的一个正向飞轮。
AI加速产业创新与应用
我认为,人工智能会帮助人类做更好的高质量发展。
因为AI能够助力企业创新,这也是我在产学研结合领域非常关注的事情。我们希望借助人工智能的数据分析、理解推理、计算能力、设计能力,去帮助人更好地洞察市场、洞察消费者、进而设计出创新的产品。也就是生成创意、生成产品、完成设计图纸、生成销售计划等原来需要很多专业人士完成的工作,都可以让AI帮助加快做成,最终让人来做判断,这是生成式人工智能、人机协同带来的全新的创新。
如果这样去考虑的话,有很多产业机会值得关注。因此有很多投资者问我,怎么看人工智能和大模型ChatGPT的未来产业机会?
我的回答就是,去观察一家美国硅谷的VC叫A16Z。这家非常有名的高科技风险投资机构把整个生成式人工智能AIGC技术分成这么几类:最底层的是计算硬件,如GPUs;再上层的是做云计算平台的,如AWS,以及国内的阿里云、腾讯云;再往上就是作闭源人工智能通用大模型,如GPT-3、ChatGPT等的公司如OpenAI,以及一些开源模型。基于这些模型,上面有做各种应用的公司;特别值得注意的一类就是把底层自有大模型能力和应用融合起来,我们叫端到端的公司。
A16Z的观点是,目前ChatGPT等非常新的前沿技术,具体的可持续的商业模式还不明确。不像底层的计算硬件和云肯定会获利,包括微软等公司;应用层做APP的,因为没有护城河,也难以保证获利。唯一明确就是端到端的公司,如美国的Midjourney,具有非常明确的前景,这家公司现在每年能拿到1亿美元的可持续订阅费。衔远科技按照A16Z对业务模式分类中就属于端到端的应用。
为什么这种模式从长远看更有竞争力?从技术角度来讲,是因为它把基础设施、大模型、应用场景和终端用户形成了一个非常重要的闭环。当公司有了具体的功能让终端用户使用,进而会产生非常多的使用数据,数据反馈后又能帮助提升应用,也能帮助提升基础模型能力,最终模型也会不断去调优迭代越做越好。
此外,大模型也是未来产业发展的重点,但大模型的商业模式值得探讨。因为大模型的成本壁垒非常高,大公司和小企业都有各自的负担。所以我觉得从端到端做起,慢慢迭代出更大的商业模型,或许是更适合的做法。
这样又会产生一个疑问,就是把闭源模型加上一个垂直应用打包在一起,是否能取得端到端的商业模式?
ChatGPT现存的一些弱点,让这个问题的答案是明确的否定。目前,ChatGPT就像一个典型的“万金油”,它什么都知道一点,也能非常合乎逻辑地把一些信息整合出来,但很多回答存在无法保证信息准确、量化的问题;第二,对于信息特别是数据自身的关联,它难以建立背后的逻辑;第三,它不能提供独特的洞见,它基本上就是一个更高级的留声机。
一旦垂直领域专业用户使用ChatGPT,他就会发现ChatGPT提供的答案,要么就是专业用户都知道的内容,要么它可能一本正经地信口开河,不能保证它回答的对不对。
因此,衔远科技做了一个垂类的模型,叫ProductGPT,帮助企业做产品创新。它可以帮助垂直领域的企业工作人员做创新,在回答时给出非常全面的分析。因为它有很详实的数据支持,另外它能够按照品牌、品类、特点去展开深度分析,真正帮助到专业人士。
ProductGPT作为垂直领域的协同交互式人工智能,按照我们目前收集的测试,它能够让创新机会翻10倍,上市周期快将近10倍,创新成本大量降低,帮企业带来收入、业务增长和利润。
ChatGPT对产业、政策、监管等的意义
ChatGPT的多轮生成对话,可能会引发一些新的人工智能治理问题。我总结了三点:
1.如何从治理的角度对ChatGPT的输出加以标注?
对人工智能生成的内容中有可能存在彼此矛盾冲突的信息、错误知识、过时知识、谎言、偏见、种族歧视等予以标注,帮助用户谨慎对待。比如,我们需要讨论是否及如何对AI产生的内容增加数字水印,让大家看到时就知道是人工智能生成的而更谨慎对待?
2.ChatGPT相关的知识产权问题及相关法律问题研究。
ChatGPT在实际应用场景中必然会引发许多版权问题,其训练过程中使用了海量互联网语料,这种对已有文本数据的模仿也会构成侵权。ChatGPT生成内容的知识产权是归用户,还是归原创内容的所有者,还是归OpenAI?同时,因为使用ChatGPT带来不良后果的责任该由谁来承担,相关的法律问题也亟待研究。
3.ChatGPT使用范围的界定,其已经对许多行业带来了冲击。
例1:中学生会借助ChatGPT来完成作业,但由于其生成内容的不可控性,会带来法律、安全、伦理风险,甚至引导学生犯罪。
例2:在学术研究中,如果把思考任务交给自动聊天机器人,也会违反学术伦理规范。
我今年年初在美国计算机协会的会刊ACM Computing Surveys上,发了一篇论文 《可信赖的人工智能:从原则到实践》提出,可信赖的人工智能不是一个孤立的问题,一定要把人工智能的可解释性、抗攻击性放在一起综合考虑,包括ChatGPT现在碰到的问题,都值得在学术上面研究。有关泛化性、可解释性、透明性、可复制性、价值对齐、负责任等问题都是需要去解决的。所以总的来讲,现在人工智能还有很多的工作要做,特别在ChatGPT的大背景下,学术研究、监管和实践是三位一体的,要互相迭代。
版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除