科学家们构建了一个先进的医学知识语言模型

   EPFL的研究团队最近推出了Meditron,这是全球性能最优的开源大型语言模型,专为医疗行业设计,旨在辅助临床决策。...

  medical data

EPFL的研究团队最近推出了Meditron,这是全球性能最优的开源大型语言模型,专为医疗行业设计,旨在辅助临床决策。

大型语言模型(llm)是基于海量文本训练的深度学习算法,旨在学习单词之间数十亿的数学关系(即“参数”)。我们大多数人对它们并不陌生,因为它们是聊天机器人的核心算法,例如OpenAI的ChatGPT和谷歌的Bard所使用的PaLM。目前最大的模型拥有数千亿个参数,训练成本高达数十亿美元。

尽管像ChatGPT这样的通用模型能够帮助用户完成从电子邮件到诗歌的多种任务,但专注于特定知识领域的模型可以更小,更易于使用。例如,经过高质量医学知识训练的法学硕士可能会使循证信息的获取更加普及,从而更好地支持临床决策。

虽然已有许多努力旨在提升法学硕士的医学知识和推理能力,但迄今为止,所产生的人工智能要么是封闭源(如MedPaLM和GPT-4),要么是规模有限,约130亿个参数,这限制了它们的可访问性和能力。

为改善可访问性和代表性,EPFL计算机与通信科学学院的研究人员开发了MEDITRON 7B和70B,这是一对分别具有70亿和700亿参数的开源法学硕士,专为医疗领域设计,并在他们发布在预印服务器arXiv上的文章中进行了详细描述,“MEDITRON-70B:扩展大型语言模型的医疗预训练。”

MEDITRON基于meta发布的开放获取lama-2模型,在临床医生和生物学家的持续参与下,接受了精心挑选的高质量医疗数据的训练。这些数据包括来自PubMed等开放存取库的同行评审医学文献,以及一系列独特的多种临床实践指南,涵盖多个国家、地区、医院和国际组织。

“在开发MEDITRON后,我们进行了四项主要医疗基准评估,结果显示其性能超越了所有其他可用的开源模型,以及封闭的GPT-3.5和Med-PaLM模型。

在一个许多人对人工智能快速发展感到怀疑甚至恐惧的时代,机器学习和优化实验室(MLO)负责人Martin Jaggi教授强调了EPFL MEDITRON开源的重要性,包括管理医学预训练语料库和模型权重的代码。

“MEDITRON的训练方式和使用的数据都是透明的。我们希望研究人员能够对我们的模型进行压力测试,并通过他们的改进使其更加可靠和健壮,从而在长期和必要的实际验证过程中建立工具的安全性。这些都是大型科技公司开发的封闭模型所无法实现的。”

由世卫组织和耶鲁大学医学院联合主办的全球智能卫生技术实验室主任、医学博士Mary-Anne Hartley教授正在负责这项研究的医学方面工作。“我们在设计MEDITRON时就考虑到了安全性。它的独特之处在于,它从透明的高质量证据来源对医学知识进行编码。现在,重要的工作是确保该模型能够恰当、安全地传递这些信息。”

这些高质量证据的来源之一是红十字国际委员会的临床实践指南。

红十字国际委员会数字卫生项目负责人哈维尔·埃尔金博士表示:“新的卫生工具往往对人道主义环境的需求不敏感。”红十字国际委员会是人道主义原则的关键守护者,我们很高兴与EPFL的这项倡议合作,使我们能够将我们的指导方针纳入技术中。”

12月初,在日内瓦举行的联合研讨会将探讨这种技术的潜力、局限性和风险,并由作者在MEDITRON上举行特别会议。

“我们开发MEDITRON是因为获取医学知识应该是一项普遍的权利,”Bosselut总结道。“我们希望这将成为研究人员在实践中安全地适应和验证这项技术的一个有用的起点。”

更多信息:陈泽明等,MEDITRON-70B: Scaling Medical Pretraining for Large Language Models, arXiv(2023)。DOI: 10.48550/ arXiv .2311.16079

由洛桑联邦理工学院提供
引用:研究人员开发了医学知识的大型语言模型(2023年,11月28日),检索于2023年11月29日https://techxplore.com/news/2023-11-large-language-medical-knowledge.html 作品受版权保护。除为私人学习或研究目的而进行的任何公平交易外,未经书面许可,不得转载任何部分。的有限公司 内容仅供参考之用。

本文来自作者[雅旋小公主]投稿,不代表光诉信息立场,如若转载,请注明出处:https://wap.xrwohh.cn/zheh/202507-462.html

(4)

文章推荐

  • 山西和顺疫情防控电话(山西和顺疫情防控电话查询)

    大同回榆次需要报备吗1、需要。大同回榆次需要报备,根据查询大同疫情防控中心显示:截止至2022年11月28日,该地区属于高风险地区。榆次,古称“魏榆”,位于山西中部的太原盆地,东与寿阳县、和顺县交界,西同清徐县毗邻,南与太谷县接壤,西北与太原市相连。2、目前

    2025年07月05日
    0
  • 北京大兴疫情最新轨迹(北京大兴疫情最新轨迹查询)

    一阳性病例轨迹涉大兴机场,这些人员请立即报告!APP月23日,大兴区接报一返京阳性病例部分活动轨迹涉及大兴国际机场。大兴区立即启动疫情防控响应机制,迅速开展流调排查,对涉及场所采取临时管控措施。请在下列时间段到过相关区域的人员主动报告:2月21日11:08至

    2025年07月05日
    0
  • 天长疫情2021年(天长疫情最新数据消息)

    安徽天长市属于哪个市1、天长是安徽省下辖县级市,由滁州市代管。天长市位于安徽省滁州市东部,东临高邮湖,毗邻长江、淮河,西接安徽省来安县,北邻江苏省淮安市金湖县、盱眙县,东边与江苏省扬州市高邮市隔湖相望,连接南京市六合区、江苏省扬州市仪征市。2、天长市属于安徽

    2025年07月05日
    0
  • 敦煌市疫情防控(敦煌市防疫防控政策)

    敦煌网吧开门没敦煌网吧开门。根据查询相关公开信息显示截止于2022年11月7日12:12:19,敦煌地区防疫防控情况属于常态化,防疫管控措施要求是无疫情县(市、区、旗)来敦游客持24小时核酸阴性证明,落地采阴性后即可有序流动,入敦后每日进行一次核酸检测,凡进

    2025年07月05日
    0
  • 云南宣威疫情春节返乡最新消息(云南宣威新型肺炎疫情)

    云南省曲靖市宣威市封城了吗封城了。根据查询宣威当地疫情防控中心显示:截止到2022年10月14日,宣威地区出现3例新增病例,属于中高风险地区,即日起开始实施封城。有些朋友关心何时宣威市会解封,其实不用过多担心,宣威市不会封控太久,只要传播链条底数摸清楚,一定

    2025年07月05日
    0
  • 湖南泸溪疫情最新情况(湖南输入疫情最新情况)

    截止2019年6月西部地区共有多少个县摘掉贫困县帽子?1、个。国家发展改革委有关负责人就《指导意见》答记者问时指出,截至2019年6月,西部地区90%以上的贫困县实现脱贫摘帽,也即是西部地区共有169个县摘掉贫困县帽子。2、截至5月17日,全国22个省区市的

    2025年07月05日
    0
  • 广东阳江疫情(广东阳江疫情防控电话)

    12月4日阳江江城区新增3例确诊病例和1例无症状感染者年12月4日0-24时,阳江市江城区新增3例新冠肺炎确诊病例和1例新冠病毒无症状感染者,分别为主动核酸筛查、非闭环管理重点人群筛查和集中隔离的密切接触者筛查中发现,已闭环转运至定点医院隔离治疗。确诊病例1

    2025年07月05日
    0
  • 石河子疫情防控各领导手机电话(石河子市疫情防控办电话)

    石河子市疫情有多少人你好,你是要问新疆石河子疫情总共多少例吗?通过查询相关资料显示,新疆石河子疫情总共4例。8月30日新疆生产建设兵团新型冠状病毒肺炎疫情最新情况8月30日0-24时,新疆生产建设兵团无新增确诊病例和无症状感染者。石河子市4例无症状感染者隔离

    2025年07月05日
    0
  • 周至县疫情防控工作先进个人(疫情防控工作先进个人主要事迹范文)

    中医药工作总结1、中医药工作总结1为了继承和发扬中医药事业,我院在市卫生局的领导下,利用有限的卫生资源积极开展了中医药工作,现将我院中医药工作总结如下:中医药工作基本情况(一)科室设置及人员配备、诊疗情况。中医科门诊:中医医师2人。进一步完善了中医

    2025年07月05日
    0
  • 日照市疫情死了多少人(日照疫情人员名单)

    中国哪些地区有疫情陕西省在2009年病例数激增至26例,其中25例集中在汉中市,渭南市也出现了类似的暴发。1狂犬病虽然通常呈散发状态,但在与高发区接壤的低发区域,如果不采取有效的防控措施,也可能发生集中流行。1近年来报告首例或输入病例的省份包括甘肃、陕西

    2025年07月05日
    0

发表回复

本站作者后才能评论

评论列表(4条)

  • 雅旋小公主
    雅旋小公主 2025年07月04日

    我是光诉信息的签约作者“雅旋小公主”!

  • 雅旋小公主
    雅旋小公主 2025年07月04日

    希望本篇文章《科学家们构建了一个先进的医学知识语言模型》能对你有所帮助!

  • 雅旋小公主
    雅旋小公主 2025年07月04日

    本站[光诉信息]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • 雅旋小公主
    雅旋小公主 2025年07月04日

    本文概览:   EPFL的研究团队最近推出了Meditron,这是全球性能最优的开源大型语言模型,专为医疗行业设计,旨在辅助临床决策。...