官方网站-首页

在医学研究和临床治疗中，准确解读医学图像并生成有洞察力的报告对病人的护理是必不可少的，但却给人类临床专家带来了沉重的负担。

人工智能（AI），特别是多模态生成式医学图像解释（GenMI）领域的快速发展，为自动化这一复杂过程的部分工作创造了机会。尽管 GenMI 有望在生成跨学科报告方面达到人类专家水平，但仍在准确性、透明度等方面面临障碍。

厘清这些障碍并提出针对性解(jiě)决(jué)方(fāng)案(àn)，对(duì)于(yú)帮(bāng)助(zhù)临(lín)床(chuáng)医(yī)生(shēng)改(gǎi)善(shàn)护(hù)理(lǐ)质(zhì)量(liàng)、加强医学教育、减少工作量、扩大专业准入并提供实时专业知识至关重要。

今天，来自哈(hā)佛(fú)医(yī)学(xué)院(yuàn)的(de)研(yán)究(jiū)团(tuán)队(duì)在(zài)权(quán)威(wēi)科(kē)学(xué)期(qī)刊(kān) Nature 上(shàng)发(fā)文，全面(miàn)综(zōng)述(shù)了(le)开(kāi)发(fā)从(cóng)图(tú)像(xiàng)中生成(chéng)医(yī)学(xué)报(bào)告(gào)的(de) AI 系(xì)统(tǒng)方(fāng)面(miàn)的(de)进(jìn)展(zhǎn)和(hé)挑(tiāo)战(zhàn)。

论(lùn)文链(liàn)接(jiē)：

https://www.nature.com/articles/s41586-024-07618-3

除(chú)了(le)分(fēn)析(xī)医(yī)疗(liáo)报(bào)告(gào)生成的新模型的优势和应用之外，他们倡导一种新的范式，以授权临床医生及其患者的方式部署 GenMI

在临床中发挥 GenMI 的优势

现有的大多数 AI 解决方案都侧重于自动完成医学影像中的单一任务，没有考虑到放射学和临床成像中涉及的更全面的综合分析。

因此，AI 有很大潜力在医学成像和报告方面实现更广泛的用途，例如快速撰写出涉及多科室的权威报告，摄取多种模式和临床数据，生成更加准确、流畅和可解释的报告等。

图｜自动生成医疗报告的应用

目前，医疗报告生成框架主要由视觉编码器和语言解码器组成。其中，编码器将图像中的视觉信息提取为向量表示，而解码器接收一个向量并产生特定的输出。

近年来，科研人员在编码器-解码器方法的基础上不断创新，从而更好地编码图像数据、考虑外部知识、筛选异常等。包括大语言模型（LLM）在内的大型预训练通用 AI 系统，通过推动开发新的 GenMI 解决方案，彻底改变了医学图像解释。

这些 GenMI 方法可以产生更准确的医疗报告，以及使用相同的基础模型执行其他几个下游任务并处理多模态数据。

这些算法大多建立在视觉语言模型（VLM）的基础上，VLM 将单个视觉和语言模型融合到一个统一的框架中，可以对图像和文本输入进行联合编码。

图｜GenMI 的能力

利用 GenMI 协助临床医生和患者，在临床环境中充分发挥它们的优势，可以通过两个范例来理解。

第一个是部署 AI 住院实习医师。AI 住院实习医师首先会专门起草临床上准确的报告，作为住院实习医师或医生撰写报告的起点。在开发过程中，可以在临床环境中对模型进行前瞻性测试。然后，AI 住院实习医师可以在主治医师的监督下进行微调或校准，并从所需的修正和补充中学习。

图｜部署 AI 住院实习医师

第二个是符合人类偏好。基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）是应用于此类任务的两种技术。

对话式医疗报告生成模型，使临床医生可以根据需要提供反馈和后续问题，还可以与临床医生合作，通过生成式 AI 改变输入图像的属性，观察模型预测中的相关差异，并将这些差异与临床医生识别出的突出特征进行比较，从而对 AI 成像工具进行审核，还可以对为患者生成的报告进行调整，使其更直白，包含更少的医学术语，更多围绕患者病情。

总的来说，临床医生可以通过 3 种途径与 AI 系统协作：

利用 AI 模型的诊断能力，获得诊断错误的反馈。模型可以结合多模态输出，其中的解释加上在原始图像上的边界框，可以突出图像中以前可能被忽略的相关区域；

模型快速解析图像和(hé)报(bào)告(gào)的(de)能(néng)力(lì)，有(yǒu)助(zhù)于(yú)临(lín)床(chuáng)医(yī)生(shēng)快(kuài)速搜索类似病例和图像；

模型可以协助临床医生决策，其提出的探究性问题可以让临床医生深入了解与特定病症相关的诊断模式。

仍需克服 4 大挑战

然而，研究团队表示，要想发(fā)挥(huī) GenMI 等 AI 系统的优势，还需要解决基准、人类过度依赖、数据集和模型偏差以及新模型、新科室等挑战。

首(shǒu)先(xiān)，是(shì)基(jī)准(zhǔn)和(hé)评(píng)估(gū)指(zhǐ)标(biāo)。在(zài)安(ān)全实(shí)施(shī)医(yī)学(xué)报(bào)告(gào)生(shēng)成(chéng)模(mó)型(xíng)，AI 住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)将(jiāng)在(zài)住(zhù)院(yuàn)治(zhì)疗(liáo)中(zhōng)发(fā)挥(huī)更(gèng)重(zhòng)要(yào)的(de)作(zuò)用(yòng)之(zhī)前(qián)，必(bì)须(xū)开(kāi)展(zhǎn)评(píng)估(gū)下(xià)游(yóu)临(lín)床(chuáng)效(xiào)果(guǒ)的(de)研(yán)究(jiū)，明(míng)确(què)衡(héng)量(liàng)标(biāo)准(zhǔn)。

流(liú)行(xíng)的(de) LLM 的(de)性(xìng)能(néng)会(huì)随(suí)着(zhe)时(shí)间(jiān)的(de)推(tuī)移(yí)而(ér)发(fā)生(shēng)显(xiǎn)著(zhe)变(biàn)化(huà)，这(zhè)种(zhǒng)差(chà)异(yì)可(kě)能(néng)会(huì)造(zào)成(chéng)严(yán)重(zhòng)后(hòu)果(guǒ)。例(lì)如(rú)，疾(jí)病(bìng)预(yù)测(cè)模(mó)型(xíng)可(kě)能(néng)会(huì)被(bèi)操(cāo)纵(zòng)以(yǐ)输(shū)出(chū)特(tè)定(dìng)的(de)诊(zhěn)断(duàn)和(hé)结(jié)果(guǒ)测(cè)量(liàng)，从(cóng)而(ér)导(dǎo)致(zhì)处(chù)方(fāng)过(guò)量(liàng)、保(bǎo)险(xiǎn)欺(qī)诈(zhà)和(hé)伪(wěi)造(zào)临(lín)床(chuáng)试(shì)验(yàn)。

因(yīn)此(cǐ)，在(zài)将(jiāng) LLM 作(zuò)为(wèi)人(rén)工(gōng)智(zhì)能(néng)住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)的(de)一(yī)部(bù)分(fēn)进(jìn)行(xíng)部(bù)署(shǔ)时(shí)，必(bì)须(xū)确(què)保(bǎo)采取(qǔ)一(yī)致(zhì)的(de)安(ān)全措(cuò)施(shī)和(hé)监(jiān)管(guǎn)。

其(qí)次(cì)，是(shì)临(lín)床(chuáng)医(yī)生和患者的过度依赖。临床医生可能出于对错误问责的模糊性、确认偏(piān)差(chà)和(hé)自(zì)动化偏差，过于依赖机器自动化指导等各种原因，不愿意更(gèng)改(gǎi) AI 生(shēng)成(chéng)报(bào)告(gào)中(zhōng)的(de)文字(zì)，忽(hū)略(è)模(mó)型(xíng)无(wú)法(fǎ)识(shi)别(bié)的(de)罕(hǎn)见(jiàn)发(fā)现(xiàn)。

虽(suī)然(rán) AI 住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)可(kě)以(yǐ)让(ràng)患(huàn)者(zhě)直(zhí)接(jiē)与(yǔ)真(zhēn)正(zhèng)的(de)临(lín)床(chuáng)专(zhuān)家(jiā)进(jìn)行(xíng)交流，但这些交流应该在可控的情况下进行，这样患者就不会依赖 AI 住院实习医师来指导他们的医疗护理。同时，临床医生应向患者传授正确的查询方法，并让他们了解 AI 工具，以便自己进行探索。在部署 AI 住院实习医师的整个过程中，必须承认 AI 系统的局限性，尤其是在直接护理等只有人类才能处理和提供的更广泛的语境、同理心和认知的领域。

然后，是有偏差的数据集和模型。深度学习模型，尤其是 LLM，很容易受到训练数据固有偏差的影响。在 AI 住院实习医师的范例中，这种缺陷尤其容易造成问题，因为模(mó)型(xíng)不(bù)仅(jǐn)会(huì)在(zài)生(shēng)成(chéng)的(de)报(bào)告(gào)中(zhōng)，还(hái)会(huì)在(zài)医(yī)学(xué)教(jiào)育(yù)和(hé)临(lín)床(chuáng)医(yī)生(shēng)理(lǐ)解(jiě)等(děng)方(fāng)面(miàn)延(yán)续(xù)这(zhè)种(zhǒng)偏(piān)差(chà)。

此(cǐ)外(wài)，人(rén)类(lèi)的(de)主观(guān)反(fǎn)馈(kuì)是(shì)改(gǎi)进(jìn) AI 住(zhù)院(yuàn)医(yī)师(shī)的(de)关键因(yīn)素(sù)，而(ér)这(zhè)本(běn)身(shēn)就(jiù)可(kě)能(néng)造(zào)成(chéng)有(yǒu)偏(piān)见(jiàn)的(de)反(fǎn)馈(kuì)循(xún)环(huán)。训(xun)练(liàn)数(shù)据(jù)的(de)质(zhì)量(liàng)、规(guī)模(mó)和(hé)平(píng)衡(héng)也(yě)是(shì)决(jué)定(dìng)模(mó)型(xíng)偏(piān)差(chà)的(de)重(zhòng)要(yào)因(yīn)素(sù)，因(yīn)此(cǐ)亟(jí)需(xū)更(gèng)广(guǎng)泛(fàn)、更(gèng)具(jù)代(dài)表(biǎo)性(xìng)的(de)数(shù)据(jù)集。

目(mù)前(qián)，大(dà)多(duō)数(shù)进展都是由 MIMIC-CXR 等数据集推动的，这些数据集仅限于单模态胸部 X 光扫描，其他数据集也不平衡，除了配对图像和相关报告普遍不足外，与正常扫描相比，异常扫描要少得多，并且往往会捕捉到更常见的疾病，而罕见的疾病则很少出现。异常也通常只局限于图像的一小部分，因此模型很难对其进行筛选。

最后，是新的模式和新的科室。目前，将 GenMI 应用于三维成像（包括 MRI 和 CT 扫描）的工作十分有限。部分原因是这一领域缺乏大型标注数据集，只有少数未发布、稀少或难以获取的数据集。

除了三维放射图像，GenMI 还以有限的方式应用于其他科室。眼科和皮肤科的报告生成在一定程度上取得了成功，在其考虑中纳入了外部知识和疾病分类等标准技术。尽管纳入新科室和图像类型将扩展 AI 工具的能力，但获取大规模多模态数据集的成本非常高昂，资源充足的公司或有能力收集或授权使用这些专有数据集。

自动生成医疗报告在减轻临床负担、扩大专家级临床医疗服务覆盖面方面有广阔前景。GenMI 可以生成更高质量的报告，通过提供交互式临床专业知(zhī)识(shi)授(shòu)权临床医生和患者，并通过扩展教育功能改善未来的临床护理。

研究团队表示，在不同模式和科室的临床环境中，制定衡量其效果的公开基准、进行持续的临床合(hé)作(zuò)和(hé)谨慎的模型验证至关重要，这有助于学术界更透明地衡量报告生成的进展，并为临床监管机构未来的工作提供指导，使其安全有效。