真 · 座无虚席！当ChatGPT/AI遇上指南循证——如何挑战不可能？

随着ChatGPT的大热，以ChatGPT为代表的Large Language Model （LLM）技术在各领域内都掀起了一股话题热潮。同时，在循证医学的当下，指南循证数据的生成、理解和应用成为药物研发和医疗行为的基石，而此次ChatGPT走红，是否意味着在循证医学领域，数据和AI的融合迎来了奇点？

2023年4月7日至9日，中国创新药物（械）医学大会暨CMAC年会在苏州国际博览中心召开。7日下午14:30至15:30，医药魔方在B馆展区举办了主题为“当ChatGPT/AI遇上指南循证：如何挑战不可能？”的路演专场，受到参会者的广泛关注，现场座无虚席。

医药魔方AI专家工程师周新杰博士从技术研发者的角度分享了《Yes or NO：ChatGPT能读懂医学循证数据吗？》的主题演讲。

医药魔方医学解决方案专家简渝苏博士

从AI实际应用案例出发，为大家具体介绍了医药魔方DeepMed数据库的主要特点和核心应用场景。

ChatGPT真能读懂医学循证数据吗？

首先，需要理解几个概念性问题：

1、语言模型： ChatGPT通过语言模型来预测所需回复的文本序列。语言模型的本质是对于给定的一段输入文本来预测它出现的概率，或者根据给定的文本预测后面可能出现的词。例如：输入“非小”，模型预测后面可能出现的词是“非小细胞肺癌”。

2、神经网络模型： 当前主流的语言模型都是基于Transformers结构的深度神经网络。神经网络模型模拟人类大脑处理信息方式的模型，大量神经元相互联系形成复杂的网络。

3、大语言模型（Large Language Model，LLM）：神经网络的性能随着训练数据、模型参数量、算力的提升而提升，当模型大小达到一定数量级后，语言模型的推理能力会有质的飞跃。现有的语言模型可以包含1750亿、甚至上万亿的参数量，训练这些模型所需的文本量也达到几十TB。

回到主角ChatGPT：

GPT：是指Generative Pre-Training，使用海量的互联网文本数据用于训练神经网络模型。

Chat：是指Instruction Learning + Reinforcement Learning from Human Feedback（RHFL），Instruction Learning即构造 对话类型的训练数据 （指令+回复），RLHF即人工标注模型的输出结果用于反馈。

ChatGPT的成功有下列主要因素：1、大模型+大数据。2、新学习范式，包括指示学习（instruction learning），上下文学习（in-context learning）和强化学习（RLHF）。3、高质量的数据，一方面对网络上采集到的文本进行了大量清洗和过滤，另一方面通过标注团队人工积累了大量训练数据。4、同时大模型的背后也必须伴随着高算力+高成本投入。

重点问题来了，ChatGPT对循证文献的理解能力如何呢？我们用一篇2023年发表的临床研究摘要举例。首先，让ChatGPT抽取以下内容，包含：治疗方案、治疗结果、患者基线特征、试验注册号等，基本可以正确回答。第二步，让它对摘要中的主要结果制作表格，也可以基本完成。但是，如果进一步细化问题，要求它在表格中加入不良反应的数据，ChatGPT的表现就差强人意了。由于原文中提到有5种标准治疗，它会认为应该要呈现5种方案的不良反应数据，故编造了4种压根不存在的数据（下图）。

除此以外，在其他对话的测试过程中，ChatGPT也会出现例如药物适应症描述错误、数据错误、并不存在的参考文献等。

简单总结一下，LLM的优势和局限性都有哪些呢？优势非常明显：1、替代了传统的自然语言处理算法，可用于文本分类、情感分析、实体识别、关系提取、机器翻译等。2、擅长信息加工和处理，包括文献摘要、生成会议记录、自动处理表格信息等。3、可用于文本生成，例如写稿、书写文案、文字润色等。4、可用于代码生成和修改，或问答以及聊天机器人。局限性也不能忽视，输出结果具 有随机性且不可控，问三次相同的问题，输出的结果可能不一样，也可能会生成错误答案。具有时效性，例如目前ChatGPT只学习了2021年以前的信息，之后发生的内容它无法回答。还有偏倚（bias），例如百度文心一言广为诟病的画图功能。

在医药魔方，我们基于海量的生物医药文献和魔方构建的知识图谱，结合LMM和医药魔方自研算法，最后通过数据分析师校对筛选，开发了DeepMed指南循证数据库，实现了数据的自动标注和清洗，以及复杂数据的结构化抽取。

医药魔方DeepMed数据库能帮到您什么？

医药魔方DeepMed指南循证数据库，以疾病为中心，以循证数据为基础，为新药研发决策者构建实时丰富的医药证据链，已实现对重点疾病领域核心信息的全面覆盖。DeepMed构建了五大信息模块（临床指南，循证数据，联合疗法，临床需求，研究月报），让资源获取与传递更便捷。

DeepMed为行业医学人士（包括但不限于：药企BD/战略部门，NPP/市场部，投资机构，上市前医学，上市后医学，临床医生和研究者）提供从疾病的基本调研、临床证据的获取到未满足临床需求探索等各阶段的全方位服务，帮助用户深度挖掘临床指南和循证医学数据的价值。

场景1：现在K药一共在哪些疾病领域获批了权威指南治疗推荐？

场景2：我想了解一下DESTINY-Breast04研究的研究详情，包括研究设计、研究结果、结论、指南纳入情况等。

场景3：请帮我查询非小细胞肺癌辅助治疗的所有在研临床试验，做一个列表。

场景4：目前在肿瘤学领域，双免疫联合疗法一共有多少种获批方案或在临床试验阶段的方案？

场景5：请帮我汇总一下2020年12月白血病领域的重要研究进展，包括临床研究、基础研究、综述、新开临床试验等。

“魔方版”ChatGPT如何实现？视频告诉您！

CMAC年会举办期间，医药魔方在B馆一层展区搭设了展台（具体位置：E16），欢迎各位魔方的朋友们前来休息、沟通和咨询。

展会现场我们为您准备了丰富的礼品，包括桌面盆栽、魔方公仔、纸质版医药魔方独家2022年Top25靶点报告、疾病月报合集电子版等。您还可以现场试用我们的医药魔方数据库，与我们随时沟通您的数据库查询使用需求。

附：2023CMAC年会介绍

2023年4月7至9号，一年一度的中国创新药物（械）医学大会暨CMAC年会在苏州国际博览中心召开。此次会议由CMAC和中国药品监督管理研究会主办，汇聚监管、医院、科研院校和制药工业界的各方专业人士，以“创新再出发，医学贯全程”为主题，探索医学价值如何贯穿整个药物全生命周期，如何更好实现临床价值回归及创新药在中国的蓬勃发展。

Copyright © 2023 PHARMCUBE. All Rights Reserved.

欢迎转发分享及合理引用，引用时请在显要位置标明文章来源； 如需转载，请给微信公众号后台留言或发送消息，并注明公众号名称及ID。

免责申明：本微信文章中的信息仅供一般参考之用，不可直接作为决策内容，医药魔方不对任何主体因使用本文内容而导致的任何损失承担责任。