基于高光谱成像和AR技术的中药可视化鉴别系统

基于高光谱成像和AR技术的中药可视化鉴别系统

技术领域

本发明涉及中药鉴别领域，尤其是涉及基于高光谱成像和AR技术的中药可视化鉴别系统。

背景技术

近年中药学迎来了巨大的发展机遇。我国各高等院校普遍开设有中药学专业，设置有《中药学》、《药用植物学》、《中药炮制学》、《中药鉴定学》等必修课程。其中《药用植物学》是一门理论性和实践性很强的专业课程，在中药学类专业的课程体系中有着承先启后的重要作用。《中药炮制学》、《中药鉴定学》则是中药学类专业的核心课程，其目的在于帮助学习者了解并掌握中药原植物及饮片的性状特征。但由于课时有限，内容繁多，以理论为主的传统教学方式，导致很多学习者学习后仍然不辨药，不认药，不识药。如何利用科技手段，弥补中药学实践教学，如野外见习、炮制工艺训练、饮片辨析等资源缺乏，减轻老师的授课压力，提高学生的专业素养，并同时降低教学成本，缩短教学训练时间，为中药学发展提供合格的人才，成为中药学发展亟需解决的技术难题。

发明内容

本发明目的在于提供一种基于高光谱成像和AR技术的中药可视化鉴别系统。

为实现上述目的，本发明采取下述技术方案：

本发明所述的基于高光谱成像和AR技术的中药可视化鉴别系统，包括：中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块；

所述中药模型库，基于高光谱成像技术、AR技术、图像检测技术、传感技术收集药用植物实物、不同生长周期、标准光谱特征、采收、炮制加工、贮存数据，建立中药模型库；

所述药用植物识别鉴定模块，通过扫描药用植物实物、照片或光谱特征，根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定，并展示相应的简介说明；

所述药用植物全生长周期展示模块，借助AR技术，根据中药模型库，模拟还原药用植物的生长环境，展示药用植物不同生长周期的特定形态、光谱特征和关联知识；

所述药用植物采收展示模块，基于高光谱成像技术分析不同采收时间、方法的光谱特征；基于AR技术，展示药用植物采收细节、关键技术要领、语音、文字解释；根据药用植物不同时期的光谱特征，确定最佳采收时间；

所述药用植物炮制加工展示模块，基于AR技术将药用植物炮制加工方法还原、整合、虚拟、再现；

所述药材贮存展示模块，用于展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治；

进一步地，所述标准光谱特征，是采用高光谱成像技术采集每种药用植物不同生长周期的高光谱数据，并对高光谱数据进行预处理、降维、波段选择分析光谱特征，确定的每种药用植物不同生长周期最具代表性的光谱数据。

进一步地，所述中药模型库还包括药用植物图片、音视频资料、AR模型。

进一步地，所述药用植物识别鉴定还用于随机给出药用植物图像特征和/或光谱特征，测试参与者的药用植物识别能力。

进一步地，所述药用植物全生长周期展示模块还用于根据高光谱成像技术采集药用植物不同生长周期的高光谱数据，量化药用植物的生长条件，为提高药用植物的质量和产量提供科学的数据支持。

进一步地，所述药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。

进一步地，所述药用植物采收展示模块还用于实现基于AR技术的药用植物采收体验。

本发明优点在于利用人工智能技术，结合高光谱成像和AR技术，建立可视化中药鉴别系统，实现药用植物从种子发芽到药物（中药饮片）形成等一系列过程的可视化展现，形象、立体、生动的展示知识点，使使用者能够身临其境地学习和体验中药材的历史背景、生长环境、植物生长各阶段特性和中药饮片的加工炮制工艺等内容，既能极大增强了学习者的兴趣，提升了学习效果，又能弥补中药学实践教学资源缺乏的缺陷，减轻老师的授课压力，提高学生的专业素养，同时也极大程度的降低了教学成本投入。

附图说明

图1是本发明所述基于高光谱成像和AR技术的中药可视化鉴别系统的框架图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中所说的高光谱成像是一种可以捕获和分析一片空间区域内逐点上光谱的精细技术。由于可以检测到单个对象不同空间位置上的独特光谱“特征”，因此高光谱成像技术可以检测到在人眼视觉上无法区分的物质。药用植物和中药饮片的理化性质不同使其对波长的吸收和反射也不同，从而导致其光谱特征不同，因此不同的药用植物和中药饮片就包含其特有的光谱，这些人眼无法看到的光谱信息，可以通过高光谱成像技术进行甄别区分，从而为计算机智能可视化鉴别中药提供可行性。

本发明中所说的AR（英文全称为：Augmented Reality，中文释义为：增强现实技术）技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。1997年Azuma等研究人员提出了AR技术的三个标准：第一，虚拟和现实元素的组合；第二，能够进行实时交互；第三，能够以三维形式注册（即跟踪与定位）。也就是说，AR技术把原本在现实世界中时间、空间范围内很难体验到的实体信息(如视觉、听觉、味觉、触觉等)，通过科学技术手段，以虚拟信息的方式传递到现实世界中，从而被人类感知并产生超越现实的感官体验。

如图1所示，本发明所述的基于高光谱成像和AR技术的中药可视化鉴别系统，包括中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块；

所述中药模型库，基于高光谱成像采集技术采集每种药用植物不同生长周期的高光谱数据，对原始高光谱数据进行预处理、降维、波段选择等分析其光谱特征，再对预处理后的高光谱数据建模分析和研究，明确每种药用植物和不同生长周期的光谱特征，将最具代表性的光谱数据作为标准光谱特征，导入中药模型库。

同时，应用AR技术、图像检测和传感技术等采集药用植物的显著特征图像，对药用植物的实物、药材采集、炮制加工以及贮存方式进行采集，建立用以鉴别药用植物的中药模型库，并导入药用植物鉴别特征，如图片特征和音视频介绍、AR模型等基础数据。

所述药用植物识别鉴定模块，在中药模型库完善后，使用者可以扫描现实世界中的药用植物实物或照片或光谱特征，根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定，呈现相对应的药用植物图文资料、音视频介绍、光谱特征等简介说明。

针对药用植物的鉴定，基于AR技术将药用植物的形态虚拟再现，通过光谱特征对不同的药用植物进行鉴别。

图像识别中设置互动栏目，参与者还可以根据随机给出的药用植物图像特征和/或光谱特征测试药用植物识别能力，确定药用植物分属哪个物种等。

所述药用植物全生长周期展示模块，借助AR技术，根据中药模型库，模拟还原药用植物的生长环境，展示药用植物不同生长周期的特定形态、光谱特征和关联知识；还可以根据高光谱成像技术采集药用植物不同生长周期的高光谱数据，量化药用植物的生长条件，为提高药用植物的质量和产量提供科学的数据支持。

药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。其中，借助AR技术，展现种子萌芽过程，通过高光谱成像采集技术采集种子萌芽的光谱数据并进行分析，展示种子采集与处理、种子萌芽条件、种子萌芽时期的光谱特征；模拟展示药用植物由小苗成长为成年植株的过程，形象地表达出植物的特征和器官建成过程，以及通过高光谱成像技术分析其不同的光谱信息和特征；展示药用植物开花过程；展示药用植物产果期到适宜采收期的特征信息。

中药质量的好坏，取决于有效物质含量的多少，有效物质的含量与采收时间、季节、方法有着密切的联系。

所述药用植物采收展示模块，基于高光谱成像技术分析不同采收时间、方法的光谱特征；基于AR技术，展示药用植物采收细节、关键技术要领、语音、文字信息；同时药用植物有效成分的积累是个动态变化的过程，根据药用植物不同时期的光谱特征，确定最佳采收时间；

所述药用植物采收展示模块还运用AR技术实现药用植物采集互通功能，让参与者可以体验药用植物采集过程。

药用植物采收后，除少数要求鲜用外，绝大多数需要进行炮制加工。中药炮制是中医药特色之一，也是影响饮片质量和临床药效的重要环节之一。由于中药的品种繁多，来源不一，其形、色、气、味、质地及含有的物质不完全相同，因而对产地加工的要求也不一样。所述药用植物炮制加工展示模块，对采集后的药用植物进行炮制，基于AR技术嵌入不同药用植物的加工方法，通过模拟，将现实中的炮制加工流程进行还原、整合、虚拟、再现，包括所需的工具，辅料等，配以相应动画和模型进行全新的可视化、仿真效果展示。并可以与使用者进行交互式互动。

中药品质的好坏，不仅与采收加工有关，与药材的贮藏保管是否得当有着密切的联系，贮藏不当就会产生不同程度的变质现象，降低质量和疗效。所述药材贮存展示模块，用于介绍用何种方法、何种技术来贮存该药材等，展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治等。

本发明所述基于高光谱成像和AR技术的中药可视化鉴别系统可以是移动端、桌面端、沉浸式头盔等等，解决了从植株植物到药物的全程直观的观察与学习的问题（如生长周期长），也弥补了在现实操作中难以实现的关键环节的不足（如炮制工艺中细微变化），同时可有效将选种、种植、采集、加工炮制等交叉知识进行归纳和整理，帮助学生和行业从业者更系统和全面地了解和掌握相应知识内容，以此为核心可以在学校进行教学、社会科普活动中进行展示、或是商业应用等。

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中所说的高光谱成像是一种可以捕获和分析一片空间区域内逐点上光谱的精细技术。由于可以检测到单个对象不同空间位置上的独特光谱“特征”，因此高光谱成像技术可以检测到在人眼视觉上无法区分的物质。药用植物和中药饮片的理化性质不同使其对波长的吸收和反射也不同，从而导致其光谱特征不同，因此不同的药用植物和中药饮片就包含其特有的光谱，这些人眼无法看到的光谱信息，可以通过高光谱成像技术进行甄别区分，从而为计算机智能可视化鉴别中药提供可行性。

本发明中所说的AR（英文全称为：Augmented Reality，中文释义为：增强现实技术）技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术。1997年Azuma等研究人员提出了AR技术的三个标准：第一，虚拟和现实元素的组合；第二，能够进行实时交互；第三，能够以三维形式注册（即跟踪与定位）。也就是说，AR技术把原本在现实世界中时间、空间范围内很难体验到的实体信息(如视觉、听觉、味觉、触觉等)，通过科学技术手段，以虚拟信息的方式传递到现实世界中，从而被人类感知并产生超越现实的感官体验。

如图1所示，本发明所述的基于高光谱成像和AR技术的中药可视化鉴别系统，包括中药模型库、药用植物识别鉴定模块、药用植物全生长周期展示模块、药用植物采收方法展示模块、药用植物炮制加工方法展示模块、药材贮存展示模块；

所述中药模型库，基于高光谱成像采集技术采集每种药用植物不同生长周期的高光谱数据，对原始高光谱数据进行预处理、降维、波段选择等分析其光谱特征，再对预处理后的高光谱数据建模分析和研究，明确每种药用植物和不同生长周期的光谱特征，将最具代表性的光谱数据作为标准光谱特征，导入中药模型库。

同时，应用AR技术、图像检测和传感技术等采集药用植物的显著特征图像，对药用植物的实物、药材采集、炮制加工以及贮存方式进行采集，建立用以鉴别药用植物的中药模型库，并导入药用植物鉴别特征，如图片特征和音视频介绍、AR模型等基础数据。

所述药用植物识别鉴定模块，在中药模型库完善后，使用者可以扫描现实世界中的药用植物实物或照片或光谱特征，根据中药模型库中中药图谱、药用植物标本、光谱特征进行药用植物视觉识别鉴定，呈现相对应的药用植物图文资料、音视频介绍、光谱特征等简介说明。

针对药用植物的鉴定，基于AR技术将药用植物的形态虚拟再现，通过光谱特征对不同的药用植物进行鉴别。

图像识别中设置互动栏目，参与者还可以根据随机给出的药用植物图像特征和/或光谱特征测试药用植物识别能力，确定药用植物分属哪个物种等。

所述药用植物全生长周期展示模块，借助AR技术，根据中药模型库，模拟还原药用植物的生长环境，展示药用植物不同生长周期的特定形态、光谱特征和关联知识；还可以根据高光谱成像技术采集药用植物不同生长周期的高光谱数据，量化药用植物的生长条件，为提高药用植物的质量和产量提供科学的数据支持。

药用植物全生长周期包括药用植物种子萌芽、营养器官建成、开花、结果以及制成中药饮片。其中，借助AR技术，展现种子萌芽过程，通过高光谱成像采集技术采集种子萌芽的光谱数据并进行分析，展示种子采集与处理、种子萌芽条件、种子萌芽时期的光谱特征；模拟展示药用植物由小苗成长为成年植株的过程，形象地表达出植物的特征和器官建成过程，以及通过高光谱成像技术分析其不同的光谱信息和特征；展示药用植物开花过程；展示药用植物产果期到适宜采收期的特征信息。

中药质量的好坏，取决于有效物质含量的多少，有效物质的含量与采收时间、季节、方法有着密切的联系。

所述药用植物采收展示模块，基于高光谱成像技术分析不同采收时间、方法的光谱特征；基于AR技术，展示药用植物采收细节、关键技术要领、语音、文字信息；同时药用植物有效成分的积累是个动态变化的过程，根据药用植物不同时期的光谱特征，确定最佳采收时间；

所述药用植物采收展示模块还运用AR技术实现药用植物采集互通功能，让参与者可以体验药用植物采集过程。

药用植物采收后，除少数要求鲜用外，绝大多数需要进行炮制加工。中药炮制是中医药特色之一，也是影响饮片质量和临床药效的重要环节之一。由于中药的品种繁多，来源不一，其形、色、气、味、质地及含有的物质不完全相同，因而对产地加工的要求也不一样。所述药用植物炮制加工展示模块，对采集后的药用植物进行炮制，基于AR技术嵌入不同药用植物的加工方法，通过模拟，将现实中的炮制加工流程进行还原、整合、虚拟、再现，包括所需的工具，辅料等，配以相应动画和模型进行全新的可视化、仿真效果展示。并可以与使用者进行交互式互动。

中药品质的好坏，不仅与采收加工有关，与药材的贮藏保管是否得当有着密切的联系，贮藏不当就会产生不同程度的变质现象，降低质量和疗效。所述药材贮存展示模块，用于介绍用何种方法、何种技术来贮存该药材等，展示药材贮存方法、技术、贮藏条件要求、霉变、害虫防治等。

本发明所述基于高光谱成像和AR技术的中药可视化鉴别系统可以是移动端、桌面端、沉浸式头盔等等，解决了从植株植物到药物的全程直观的观察与学习的问题（如生长周期长），也弥补了在现实操作中难以实现的关键环节的不足（如炮制工艺中细微变化），同时可有效将选种、种植、采集、加工炮制等交叉知识进行归纳和整理，帮助学生和行业从业者更系统和全面地了解和掌握相应知识内容，以此为核心可以在学校进行教学、社会科普活动中进行展示、或是商业应用等。