BSPORTS体育

合作案例

合作案例

|

发布时间:2024-09-04 08:36:03 来源:BSPORTS体育

[展开全文]

  最初,研究团队希望为病理学家创建一种更方便的 AI 平台,该平台可以随着医生的使用而学习和发展——更像一个对人类反馈做出反应的真正的人类助手。由此,团队创建了nuclei.io 平台,它是一种基于 Python 架构开源的本地 AI 病理标注+诊断软件,不仅可以帮助医生更快更准地识别患病细胞,同时,任何病理学家都可以轻松定制自己的AI模型来更快更好地完成他们自己的任务。

  与优秀的平台(比如QuPath)相似,该平台可以让医生轻松地实现基于细胞的标注和更好的诊断。独特的是,nuclei.io 在预处理、标注和诊断上做了更加个性化的优化,从而大大提高了标注和诊断的效率。此外,nuclei.io 是基于 Python 的平台,它可以让科研工作者轻松地把通过 Python 开发的 AI 模型无缝衔接到该平台上。

  医生自己训练的模型可以快速应用于寻找浆细胞(plasma cell),图为 AI 发现的plasma cell(绿色框里的细胞)

  James Zou 教授表示,病理医生不需要任何技术背景就可以用 nuclei.io 定制他们的 AI 模型。病理医生可以在不到一个小时的使用时间内学会如何识别想要寻找的细胞并在图像上突出显示这些细胞。当斯坦福医学院的病理学家开始测试 nuclei.io 时,研究团队在分析图像时跟踪了他们在计算机屏幕上的鼠标点击,表明他们认为在哪里看到了患病细胞。

  在提出 nuclei.io 平台的同时,该论文将重点放在了评估病理医生在通过 AI 的帮助下能过多大程度提高他们的诊断效率和正确率上。James Zou 教授表示,当病理医生有了人工智能的帮助时,他们更有针对性地放大到大图像中的相关区域,这不再像大海捞针。

  当在子宫活检图像中搜索浆细胞(以诊断子宫内膜炎)时,该团队发现 AI 辅助将诊断时间从209秒缩短到79秒。重要的是,nuclei.io 的设计目的不是单独进行诊断,而是让病理医生更快地找到需要仔细观察的区域。

  相比没有使用AI(左图),使用 nuclei.io 的 AI 辅助之后(右图),医生大大提高了找到浆细胞的能力

  论文共同通讯作者、数据科学家 James Zou 教授表示,我们不想让 AI 淘汰医生,而是想要一种能与医生更好合作的 AI 工具,我们发现,使用 AI 的病理医生比不使用 AI 的病理医生在诊断效率和准确率上要好得多。

  论文共同通讯作者、病理学家 Thomas Montine 教授补充道,随着我们面临病理医生日益短缺的问题,与医生协同工作的 AI 工具有可能加快我们工作中一些较为繁琐、耗时的部分。

  病理医生通过研究从身体中提取的液体或组织来帮助诊断疾病,他们经常在显微镜下面临艰巨的搜索和查找任务。他们识别出表明癌症、炎症或其他疾病的稀有细胞,但这些细胞可能被数千个健康细胞包围。学会精确定位这些细胞并做出诊断需要多年的训练。

  当获得健康细胞和患病细胞的示例时,AI 工具可以快速学会区分两者,并且已经开发了许多基于 AI 的程序来分析数字病理图像。然而,一旦它们在初始数据上进行了训练,它们通常就无法改变。例如,一个训练有素的程序可能无法找到肺部癌细胞或免疫细胞,这些细胞会渗透到癌组织中,嵌入结肠中。此外,根据病理学家通常的工作流程,程序可能会精确定位比他们想要的更少、更多或不同的细胞。

  Thomas Montine 教授表示,病理学既是一门科学,也是一门艺术。每位病理学家对于任何特定类型的活检中的典型细胞类型都有自己的想法。过去,AI 工具无法捕捉到这些个人偏好。

  Thomas Montine 教授表示,nuclei.io 的优势之一是它可以潜在地应用在很多不同场景。它可以成为解释任何活检的强大工具,我们试图区分健康和恶性细胞。目前病理学中使用的任何其他主要 AI 工具都不是这样的。

  据悉,研究团队正在与一家初创公司合作,准备将 nuclei.io 部署到斯坦福医学健康系统及其他地方。该工具必须满足某些兼容性和安全性基准,才能在研究环境之外使用。

  研究团队利用来自推特(现在更名为X)的高质量、有注释的病理图像训练了一种基于视觉和语言的人工智能算法——PLIP,该算法通过学习超过20万张病理图像以及推特上的讨论,能够读取各种疾病(例如黑色素瘤、乳腺癌、寄生虫感染等)的图像,然后根据图像或文本检索相似的图像,从而为临床医师和医学生强大的参考工具。

  论文第一作者黄治博士即将加入宾夕法尼亚大学医学院担任助理教授,隶属于病理学和实验室医学系,生物统计学、流行病学和信息学系。黄治实验室的愿景为开发和利用具有多模态数据的大型视觉语言模型和 AI 平台来帮助医疗诊断,精准医疗。

  宾夕法尼亚大学黄治实验室拥有海量的计算资源和医疗数据,病理学系是宾夕法尼亚大学佩雷尔曼医学院两个以医院为基础的部门之一,每年进行1000万次诊断。在黄治博士的实验室中,有多个 GPU 服务器可用于开展研究,包括 NVIDIA A100、H100 等。黄治实验室和医学院精准医疗实验室共同欢迎海内外的优秀人才申请博士和博士后岗位。

  本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。



上一篇:JetBrains 开发工具正式适配苹果 M1 Mac:PyCharm 202032 等
下一篇:PyCharm破解版下载 PyCharm专业的Python开发工具下载安装