ChatGPT可以帮助医生，同时伤害病人

从去年底开始，ChatGPT在全球流行，在国内尤其受到资本和科技人士的极力追捧；但国外已经陆续有很多理性的思考，这个“革命性”的技术进步仍然是多面的，技术进步也不见得必然导致激动人心的正面结果。下面，我会陆续翻译一些含有“理性”信息的文章。下面是第一篇， 主要翻译自“连线”2023年4月的文章：

这个聊天机器人凭借其能够提供医疗信息的能力，对医生产生了诱惑，但研究人员警告不要将艰难的伦理决策交给人工智能来处理。

罗伯特·佩尔（Robert Pearl）是斯坦福医学院的教授，曾任美国医疗集团凯泽永久（Kaiser Permanente）的首席执行官，该集团拥有超过1200万患者。如果他仍然负责，他会坚持要求其所有2.4万名医生立即开始使用ChatGPT进行实践。

佩尔表示：“我认为对医生来说，它将比过去的听诊器更重要。没有一个实施高质量医疗的医生，会在不使用ChatGPT或其他生成型人工智能的情况下进行工作。”

佩尔现在已经不从事医学实践，但他表示了解一些医生正在使用ChatGPT来总结患者护理、撰写信件，甚至在遇到难题时寻求有关如何诊断患者的想法。他怀疑医生们将会发现成千上万种有益于人类健康的聊天机器人应用。

随着像OpenAI的ChatGPT这样的技术，挑战谷歌搜索的统治地位，并引发了关于行业转型的讨论，语言模型开始展现出承担以往仅属于白领工人如程序员、律师和医生的任务的能力。这引发了医生之间的对话，关于这种技术如何帮助他们为患者提供服务。医疗专业人士希望语言模型能够从数字健康记录中发掘信息，或为患者提供冗长、技术性的笔记摘要，但也存在担忧，担心它们可能欺骗医生或提供错误的回答，导致错误的诊断或治疗计划。

开发人工智能技术的公司将医学院的考试作为构建更强大系统的竞争基准。去年，微软研究引入了BioGPT，这是一种在各种医学任务上获得高分的语言模型，而OpenAI、马萨诸塞州综合医院和AnsibleHealth的一篇论文声称ChatGPT可以达到或超过美国医疗执照考试60%的及格分数。几周后，谷歌和DeepMind的研究人员推出了Med-PaLM，在同一项测试中取得了67%的准确率，尽管他们还写道，尽管令人鼓舞，但他们的结果“仍然不如临床医生”。微软和全球最大的医疗保健软件提供商之一Epic Systems宣布计划使用作为ChatGPT基础的OpenAI的GPT-4，来搜索电子健康记录中的趋势。

哈佛大学公共卫生学讲师Heather Mattie研究人工智能对医疗保健的影响，她第一次使用ChatGPT时感到印象深刻。她要求对如何使用建模社会关系来研究艾滋病进行摘要，这是她研究的主题。最终，模型触及了她不熟悉的领域，她无法再判断其是否准确。她开始想知道ChatGPT如何调和医学论文中两个完全不同或相反的结论，以及谁决定一个答案是否合适或有害。

马蒂（Mattie）现在表示她比早期经历时更加“不那么悲观”。她认为ChatGPT可以用于一些任务，比如总结文本，但前提是用户要知道聊天机器人可能不会100%正确，并且可能生成带有偏见的结果。她特别担心ChatGPT在处理心血管疾病诊断工具和重症监护损伤评分时的情况，因为这些工具存在种族和性别偏见的记录。但她在临床环境中仍然对ChatGPT持谨慎态度，因为它有时会编造事实，并且不清楚其所依据的信息的时间。

"医学知识和实践随着时间的推移而不断变化和发展，无法确定ChatGPT在提供典型治疗方案时从医学时间线的哪个时期获取信息，" 她说道。"这些信息是最近的还是过时的？"

用户还需要注意，ChatGPT风格的聊天机器人可以以表面上流利的方式呈现虚构或“幻觉”的信息，如果一个人不核实算法的回答，可能会导致严重的错误。而且，人工智能生成的文本可以以微妙的方式影响人类。一项于一月份发布的、尚未经过同行评审的研究对ChatGPT提出了一些伦理问题，并得出结论称，即使人们知道建议来自人工智能软件，该聊天机器人也会成为一个不一致的道德顾问，可以影响人类的决策过程。

成为一名医生远不仅仅是重复记忆百科全书般的医学知识。虽然许多医生对将ChatGPT用于文本总结等低风险任务持有热情，但一些生物伦理学家担心，当医生面临艰难的伦理决策时，例如是否对一位生存或康复可能性较低的患者进行手术时，医生会向聊天机器人寻求建议。

爱丁堡大学技术道德未来中心的生物伦理学家杰米·韦伯（Jamie Webb）表示：“你不能将这种过程外包或自动化给生成型人工智能模型。”去年，韦伯和他的团队以先前的研究为灵感，探索了构建用于医学的AI驱动“道德顾问”所需的条件。韦伯和他的合著者得出结论，这样的系统要可靠地平衡不同的道德原则是困难的，如果医生和其他员工过度依赖机器人而不是自行思考复杂的决策，可能会导致“道德技能减退”。

韦伯指出，医生们曾经被告知处理语言的人工智能将彻底改变他们的工作，但最终感到失望。在2010年和2011年的“危险边缘！”比赛中，IBM的沃森部门取得了胜利，之后转向肿瘤学，并声称AI在与癌症作斗争方面的效果。然而，这个最初被称为“Memorial Sloan Kettering in a box”的解决方案在临床环境中并没有像炒作所暗示的那样成功，而在2020年，IBM关闭了该项目。

当炒作落空时，可能会产生持久的后果。在哈佛大学关于医学领域中人工智能潜力的讨论会上，基层医生特里尚·潘奇（Trishan Panch）回忆起在聊天机器人发布后不久，看到一位同事在Twitter上发布了使用ChatGPT诊断疾病的结果。

兴奋的临床医生迅速表示愿意在自己的实践中使用这项技术，潘奇回忆说，但在大约第20个回复左右，另一位医生插话说，模型生成的所有参考资料都是虚假的。潘奇是医疗软件初创公司Wellframe的联合创始人，他说：“只需要一个或两个类似的事情就足以破坏对整个系统的信任。”

尽管人工智能有时会犯明显的错误，但曾在凯泽健康保险公司工作的罗伯特·珀尔对像ChatGPT这样的语言模型仍然非常乐观。他认为，在未来几年里，语言模型在医疗领域将变得更像iPhone，充满功能和能力，可以增强医生的能力，帮助患者管理慢性疾病。他甚至怀疑像ChatGPT这样的语言模型可以帮助减少美国每年因医疗错误导致的25万多人死亡。

珀尔确实认为有些事情不适合交给人工智能处理。他说，帮助人们应对悲伤和失去、与家人进行临终谈话以及讨论涉及高风险并发症的程序，不应该由机器人参与，因为每个患者的需求都是如此多变，你必须进行这些对话才能达到目标。

“那些是人与人之间的对话，”珀尔说道，他预测现在可用的技术只是潜力的一小部分。“如果我错了，那是因为我高估了技术改进的速度。但每次我看的时候，它的发展速度都比我想象的还要快。”

目前，他将ChatGPT比作一名医学生：能够为患者提供护理和协助，但它所做的一切都必须由主治医生进行审核。