(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211207117.8 (22)申请日 2022.09.30 (71)申请人 北方健康医疗大 数据科技有限公司 地址 250000 山东省济南市槐荫区恒大雅 苑8-1地块商务办公B座24层 (72)发明人 尹芳　马杰　王萌　郭鹏　王伟　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 张晓霞 (51)Int.Cl. G16H 40/20(2018.01) G06F 40/211(2020.01) G06F 40/216(2020.01) G06F 40/279(2020.01) G06Q 10/06(2012.01) (54)发明名称 医学模型评价方法、 装置和电子设备 (57)摘要 本发明提供一种医学模 型评价方法、 装置和 电子设备， 涉及数据处理技术领域， 该医学模型 评价方法包括： 获取至少一个医学文本标注数据 集， 并对至少一个医学文本标注数据集进行特征 分析， 得到 特征信息； 获取待训练医学模 型， 并基 于至少一个医学文本标注数据集对待训练医学 模型进行训练， 得到目标医学模型； 获取医学文 本测试数据集， 并基于医学文本测试数据集对目 标医学模型进行测试， 得到目标医学模 型的评价 指标； 基于特征信息和评价指标生成医学模型评 价报告， 并输出医学模型评价报告。 本发明提供 的技术方案可以对医学模型进行影响医学模型 性能的分析和评价， 有助于提升医学模型的性 能。 权利要求书3页 说明书15页 附图5页 CN 115295134 A 2022.11.04 CN 115295134 A 1.一种医学模型评价方法， 其特 征在于， 包括： 获取至少一个 医学文本标注数据集， 并对所述至少一个医学文本标注数据集进行特征 分析， 得到特 征信息； 获取待训练医学模型， 并基于所述至少一个医学文本标注数据集对所述待训练医学模 型进行训练， 得到目标医学模型； 获取医学文本测试数据集， 并基于所述医学文本测试数据集对所述目标医学模型进行 测试， 得到所述目标医学模型的评价指标； 基于所述特征信 息和所述评价指标生成医学模型评价报告， 并输出所述医学模型评价 报告。 2.根据权利要求1所述的医学模型评价方法， 其特征在于， 所述基于所述特征信 息和所 述评价指标生成医学模型评价报告包括： 确定目标评价指标对应的医学文本标注数据集， 得到第 一数据集； 其中， 所述目标评价 指标为所述评价指标中同一类型评价指标中的最大指标和/或最小指标； 获取所述第一数据集对应的特 征信息， 得到第一特 征信息； 将所述第 一特征信 息与第二特征信 息进行比对分析， 得到第 一比对结果信息； 其中， 所 述第二特征信息为所述目标医学模型对应的医学文本标注数据集中， 除去 所述第一数据集 外的其余数据集各自对应的特 征信息； 基于所述第一比对结果信息绘制评价结果图表， 生成医学模型评价报告。 3.根据权利要求2所述的医学模型评价方法， 其特 征在于， 还 包括： 确定所述目标评价指标对应的目标医学模型， 得到第一医学模型； 获取训练得到的各所述目标医学模型的结构信 息， 并将所述第 一医学模型的结构信 息 与第二医学模型的结构信息进 行比对分析， 得到第二比对结果信息； 其中， 所述第二医学模 型为训练得到的所述目标医学模型中， 除去所述第二医学模型外的其 余目标医学模型； 所述基于所述第一比对结果信息绘制评价结果图表， 生成医学模型评价报告， 包括： 基于所述第 一比对结果信 息和所述第 二比对结果信 息绘制评价结果图表， 生成医学模 型评价报告。 4.根据权利要求1所述的医学模型评价方法， 其特征在于， 所述获取待训练医学模型， 并基于所述至少一个医学文本标注数据集对所述待训练医学模型进行训练， 得到目标医学 模型， 包括： 从所述至少一个医学文本标注数据集中确定一个目标医学文本标注数据集； 获取多个不同的第 一待训练医学模型， 并利用所述目标医学文本标注数据集对每个所 述第一待训练医学模型分别进行训练， 得到多个第一目标医学模型； 其中， 所述目标医学模型包括所述多个第一目标医学模型。 5.根据权利要求1至4任一项所述的医学模型评价方法， 其特征在于， 所述医学文本标 注数据集 为多个不同的医学文本标注数据集， 所述方法还 包括： 获取一个第二待训练医学模型； 利用每个所述医学文本标注数据集分别对所述第 二待训练医学模型进行训练， 得到每 个所述医学文本标注数据集对应的第二目标医学模型； 其中， 所述目标医学模型包括所述第二目标医学模型。权　利　要　求　书 1/3 页 2 CN 115295134 A 26.根据权利要求1至4任一项所述的医学模型评价方法， 其特 征在于， 还 包括： 获取多个具有相同功能的第三待训练医学模型； 利用所述至少一个医学文本标注数据集分别对每个所述第三待训练医学模型进行训 练， 得到多个第三医学模型； 将所述多个第三医学模型缩放至同一 参数量， 得到多个第三目标医学模型； 其中， 所述目标医学模型包括所述多个第三目标医学模型。 7.根据权利要求1至4任一项所述的医学模型评价方法， 其特 征在于， 还 包括： 获取至少一个第四待训练医学模型； 利用所述至少一个医学文本标注数据集分别对每个所述第四待训练医学模型进行训 练， 得到多个第四医学模型； 对所述多个第四医学模型进行组合处 理， 得到第四目标医学模型； 其中， 所述目标医学模型包括所述第四目标医学模型和所述多个第四医学模型。 8.根据权利要求1至4任一项所述的医学模型评价方法， 其特征在于， 所述对所述至少 一个医学文本标注数据集进行 特征分析， 得到特 征信息， 包括： 对所述至少一个医学文本标注数据集进行数据集自身的特征分析， 得到第三特征信 息； 和/或， 对所述至少一个 医学文本标注数据集进行数据集之间的比对分析， 得到第四特 征信息； 所述特征信息包括所述第三特 征信息和/或所述第四特 征信息。 9.根据权利要求8所述的医学模型评价方法， 其特征在于， 所述对所述至少一个医学文 本标注数据集进行 数据集自身的特 征分析， 得到第三特 征信息， 包括： 对每个所述医学文本标注数据集分别进行目标分析， 得到每个所述医学文本标注数据 集对应的第三特征信息； 其中， 所述目标分析包括医学实体特征分析、 语句分析、 实体统计、 实体关系统计、 句子特 征分析和特 征相关测度分析中的至少之一。 10.根据权利要求8所述的医学模型评价方法， 其特征在于， 所述对所述至少一个医学 文本标注数据集进行 数据集之间的比对分析， 得到第四特 征信息， 包括： 计算所述至少一个医学文本标注数据集之间的相似度； 计算每个医学文本标注数据集的特 征值， 并对所述特 征值进行比较， 得到比较结果； 将所述相似度和所述比较结果确定为所述第四特 征信息。 11.一种医学模型评价装置， 其特 征在于， 包括： 获取模块， 用于获取至少一个医学文本标注数据集； 分析模块， 用于对所述至少一个医学文本标注数据集进行 特征分析， 得到特 征信息； 训练模块， 用于获取待训练医学模型， 并基于所述至少一个医学文本标注数据集对所 述待训练医学模型进行训练， 得到目标医学模型； 测试模块， 用于获取医学文本测试数据集， 并基于所述医学文本测试数据集对所述目 标医学模型进行测试， 得到所述目标医学模型的评价指标； 生成模块， 用于基于所述特 征信息和所述评价指标生成医学模型评价报告； 输出模块， 用于 输出所述医学模型评价报告。 12.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运权　利　要　求　书 2/3 页 3 CN 115295134 A 3