Medical teacher. 2025 Jun 12:1-11. doi: 10.1080/0142159X.2025.2513419 Q14.42025
Advancing medical education in cervical cancer control with large language models for multiple-choice question generation
利用大型语言模型生成多选题以推进宫颈癌防治的医学教育 翻译改进
作者单位 +展开
作者单位
DOI: 10.1080/0142159X.2025.2513419 PMID: 40504493
摘要 中英对照阅读
目标:探索使用大型语言模型(LLM)生成宫颈癌控制教育的多项选择题的可能性,并将其与临床医生创建的题目进行比较。
方法:GPT-4o 和 Baichuan4 各自通过迭代优化提示语生成了 40 道多项选择题。临床医生也生成了 40 道用于对比的多项选择题。120 道题目由 12 名专家从五个维度(正确性、清晰度和具体性、认知水平、临床相关性和可解释性)进行评估,使用五分 Likert 量表打分。难度和鉴别力则通过从业人员进行测试。参与者被要求识别每道多项选择题的来源。
结果:自动化生成的多项选择题在大多数维度上与临床医生生成的题目相似,但临床医生生成的题目在认知水平(4.00±1.08)方面高于 GPT-4o(3.68±1.07)和 Baichuan4(3.7±1.13)。通过 312 名从业人员进行测试的结果显示,三者在难度和鉴别力上无显著差异:临床医生组为(59.51±24.50, 0.38±0.14),GPT-4o 组为(61.89±25.36, 0.30±0.19),Baichuan4 组为(59.79±26.25, 0.33±0.15)。大型语言模型生成的多项选择题被识别来源的比例在 32% 到 50% 之间,专家比普通执业医生更能准确地判断出题目制作者。
结论:通过优化提示语,大型语言模型可以生成与临床医生生成的多项选择题相当的质量。尽管在认知水平上临床医生表现更好,但借助大型语言模型辅助生成多项选择题可以提高效率,并且需要严格的验证以确保教育质量。
关键词:大型语言模型;宫颈癌;医学教育;多项选择题生成。
相关内容
-
LLMs get a medical education
大型语言模型接受医学教育
Karen OLeary
Nature medicine. 2023 Jul 24.
-
The impending impacts of large language models on medical education
大型语言模型对医学教育的潜在影响
Sangzin Ahn
Korean journal of medical education. 2023 Mar;35(1):103-107.
-
Medical education empowered by generative artificial intelligence large language models
生成式人工智能大型语言模型赋能医学教育
Tanisha Jowsey et al.
Trends in molecular medicine. 2023 Dec;29(12):971-973.
-
A systematic review of large language models and their implications in medical education
大型语言模型及其在医学教育中应用的系统性综述
Harrison C Lucas
Medical education. 2024 Apr 19.
-
Large Language Models and Their Implications on Medical Education
大型语言模型及其对医学教育的影响
Henry Bair
Academic medicine : journal of the Association of American Medical Colleges. 2023 Aug 1;98(8):869-870.
-
Teaching the Limitations of Large Language Models in Medical School
在医学院教授大型语言模型的局限性
Araliya N Gunawardene
Journal of surgical education. 2024 May;81(5):625.
-
Medical education with large language models in ophthalmology: custom instructions and enhanced retrieval capabilities
眼科医学教育中的大型语言模型:定制指令和增强的检索能力
Mertcan Sevgi
The British journal of ophthalmology. 2024 May 7:bjo-2023-325046.
-
Large Language Models in Medical Education: Comparing ChatGPT- to Human-Generated Exam Questions
大型语言模型在医学教育中的应用:比较ChatGPT与人生成的考试试题
Matthias Carl Laupichler et al.
Academic medicine : journal of the Association of American Medical Colleges. 2024 May 1;99(5):508-512.
-
Fine-Tuning Large Language Models to Enhance Programmatic Assessment in Graduate Medical Education
微调大型语言模型以增强毕业后医学教育中的程序性评估能力
Gregory J Booth et al.
The journal of education in perioperative medicine : JEPM. 2024 Sep 30;26(3):E729.