手术穿刺路径智能自动化规划方法及系统和医疗系统与流程

本发明属于人工智能与医疗自动化技术领域，涉及基于机器学习的手术穿刺路径智能自动化规划方法及手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，本发明能够用于医疗手术穿刺机器人或无创式手术3d自动定位导航平台。

背景技术：

在外科穿刺手术(穿刺活检、定向血肿抽吸、定向植入等)中，医生进行穿刺路径规划时需要在手术导航软件上反复查看计算机断层扫描(ct)图像或核磁共振成像(mri)图像，通过在患者头部或腹胸腔部等的横断面、矢状面、冠状面视图中不断调整穿刺针轨迹来完成手术规划。在这个过程中，医生需要花费大量时间来确保靶点准确和调整合适的穿刺路径以避开重要组织，这不仅要求医生临床经验丰富，熟练手术导航软件，而且增加了手术时间和医生工作量，长时间的人工操作还容易造成医生的视觉与体力疲劳，不利于手术的顺利进行，同时造成了潜在的医疗安全隐患。

随着机器学习在各个领域的应用发展，将机器学习运用于医疗领域具有很大的发展潜力，过往有研究通过机器学习的方法对组织图像进行分割、识别，判断病变部位和种类来辅助医生完成医疗诊断等，但借助机器学习的方法获取脑部或腹胸腔部图像以及靶区组织(病灶、血肿、特定组织等)的相应特征，从而自动规划穿刺路径、用于穿刺手术的研究未有报道。

《中国微侵袭神经外科杂志》2017年2月20日第22卷第2期p.49-50报道了一种“功能神经外科精准时代的助推器——rosa手术机器人”，采用一种无标记点的激光自动注册和配准方式来实现术中激光定向与定位功能，同时带有强大的影像处理功能，可将病人多种影像资料(如cta、mra等)进行高质量融合，形成三维图像，进而根据靶点核团或血肿形态、颅内血管走行等设计个性化手术路径；医生提前设定好手术靶点和手术路径后，机械臂可自行定位和穿刺。该机器人系统可适用于神经内镜手术并可术中实时导航，极大地增加神经外科手术精准度和安全性，且操作简易，应用范围广，减少围手术期并发症。但该机器人系统庞大复杂，造价昂贵，一套机器人系统需要耗资上千万，并且应用范围不够广泛，由于需要脑深部电刺激(dbs)植入，故只能用于神经外科领域，无法推广至胸、腹部外科手术等其他应用场合。

cn107669342a(申请号：cn201711068286.7)公开了“一种具有精确定位效果的手术机器人”，主要用于心脏外科和前列腺切除术，通过红外感应器和深度感应器的配合使用，可以检测到人体的红外线从而通过控制器控制驱动器的运转，通过控制器控制驱动器能够带动手术刀进行手术工作，具有精确定位效果，能大大提高对患者的手术效果。然而机器人缺乏一套完善可靠的术前手术计划系统，智能化程度不够高。

cn104083217a(申请号：cn201410314667.9)公开了“一种手术定位装置和方法以及机器人手术系统”，该手术定位装置包括定位标尺、上位机和至少六自由度的串联机械臂，上位机与串联机械臂连接，定位标尺包括透x光的两相对面，两相对面通过透x光的连接面固定连接，两相对面上均设置有一组标记，每组标记包括至少四个不在一条直线上的标记点，标记点为不透x光的部件；任一相对面或连接面固定连接标尺柄，标尺柄通过接口与串联机械臂末端连接；上位机通过控制串联机械臂的运动来调整定位标尺的位置以进行透射角度的变换，并根据采集的图像中的标记点进行空间定位计算，得到规划路径。该装置能够实现任意角度的透视定位，并能消除计算手术路径时引起的系统误差，增大工作空间，提高手术定位精度。但该装置的手术路径规划及定位系统比较复杂繁琐，且缺乏一定的力和位置检测反馈系统，无法获得针对患者要害区域和关键器官部位的准确分割识别结果以及安全进针约束区域，规划效率不够高。

cn106236258a(申请号：cn201610681311.8)公开了一种“腹腔微创手术穿刺路径的规划方法及装置”，通过超声单元实时捕获腹腔中病灶脏器生成超声图像；根据实时捕获的所述超声图像确定腹腔中病灶脏器的动态变化；以及根据所述病灶脏器的动态变化，对预先规划的穿刺路径进行微调，以使微调后的穿刺路径仅针对所述病灶脏器而避开除所述病灶脏器外的敏感器官。该规划方法实现了对穿刺路径的微调，使得微调后的穿刺路径准确地对准病灶脏器上的靶点，从而降低了手术方案的制定难度。但该规划方法仍属于传统领域的影像特征识别方法，不具备人工智能因素，识别精确度与操作智能化程度有限。

技术实现要素：

发明要解决的技术问题

本发明是为避免上述现有技术所存在不足之处，提供一种智能化程度高、规划效率高、定位精度高、安全性好、性价比高的基于机器学习的手术穿刺路径智能自动化规划方法、手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，其能够用于医疗手术穿刺机器人或无创式手术3d自动定位导航平台。

用于解决技术问题的手段

为解决上述技术问题，本发明提供一种基于机器学习的手术穿刺路径智能自动化规划方法，其包括以下步骤(1)～(6)。

步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据。

所述现有病例的数量例如可以为50例以上。所述样本图像数据例如可以为计算机断层扫描(ct)数据和核磁共振成像(mri)数据中的至少一者。在所述预处理中，对所述样本图像数据进行例如偏置场校正(biasfieldcorrection)、灰度均衡化等预处理。

磁共振成像系统常常由于磁场的变化导致同一组织内扫描图像亮度的不均匀性，这一现象称为偏置场。偏置场的存在对后续的组织器官的分割将产生重要影响，因此，需要对所获取的磁共振图像统计偏移值，使用例如插值算法，进行偏置场校正处理。

灰度均衡化是指通过拉伸像素强度分布范围来增强图像对比度的处理。灰度均衡化的方法例如为直方图均衡化，通过统计图像的灰度直方图，调整图像灰度级动态范围，用于提高计算机断层扫描(ct)数据和核磁共振成像(mri)数据的对比度。

图像中的重要血管、神经和关键组织、器官的标注可以是人工进行，也可以是由专业软件进行，还可以是由专业软件标注后再人工进行修正。

步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型。

步骤(2)中的聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，

在步骤(2)中基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，

步骤(2)中构造的所述三维分割深度神经网络损失函数包括下述三个部分：

(1)方差项lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；

(2)距离项ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和

(3)正则化项lreg，其用于在特征空间使所有的簇心向原点的拉力，

设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项lvar产生的拉力将不再产生作用，

设当两个不同类别簇心之间的距离大于阈值2δd时，距离项ldist产生的斥力将不再产生作用，

设步骤(2)中使用的所述训练数据的类别数为c，第c类含有的元素个数为nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示l2距离即定义[x]+＝max(0,x)时，方差项lvar、距离项ldist和正则化项lreg分别由下述式子表示：

其中，1≤c≤c，1≤i≤nc，μca表示类别a的簇心，μcb表示类别b的簇心，

所述三维分割深度神经网络损失函数由下述的l表示：

l＝α·lvar+β·ldist+γ·lreg

其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1，例如可以是α＝1，β＝1，γ＝0.001。

所述样本图像数据例如是计算机断层扫描数据和核磁共振成像数据，所述多模态数据例如是计算机断层扫描数据和核磁共振成像数据。

所谓多模态数据，是指为反映同一病灶采取不同成像模式得到的数据，例如医学图像中的ct、mri、pet等数据。

步骤(2)中的所述三维分割深度神经网络可以为改进的3dv-net网络，该3dv-net使用三维卷积，将所述训练数据和测试数据作为输入数据，经过多次交替卷积、下采样操作，再经过相同次数的交替卷积、上采样操作，得到预测结果，用于分割血管、神经、组织、器官。

在本步骤中可引入残差模块，同时，为了进一步确保分割精度，可使用深度监督机制，在各个上采样阶段均计算分割损失。

步骤(3)，获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果。

所述样本图像数据例如可以为所述待手术患者的计算机断层扫描(ct)数据和核磁共振成像(mri)数据。

所述预处理的内容例如可以与对现有病例进行的预处理相同。

步骤(4)，基于步骤(3)中得到的所述分割识别结果和步骤(3)中获取的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型。

在步骤(4)中，依据三维分割深度神经网络模型的分割识别结果和待手术患者的样本图像数据(例如，计算机断层扫描(ct)数据和核磁共振成像(mri)数据)的参数(包括层厚等)，快速重构人体局部三维模型。

步骤(5)，将步骤(1)中在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域。

步骤(5)中用于进针区域检测的所述深度学习目标检测算法例如可以为faster-rcnn算法，所述faster-rcnn算法以计算机断层扫描数据或者核磁共振成像数据的2d切片作为输入数据，用于检测进针区域。

可以将患者病例中人工标记的进针区域的mri数据作为进针区域深度学习目标检测算法faster-rcnn的训练数据，训练得到用于进针区域检测的深度神经网络模型，用于提取符合医学要求的进针约束区域，faster-rcnn首先通过一组基础的卷积+激活函数relu+下采样pooling层得到输入图像的卷积特征图，然后在卷积特征图上寻找包含目标的边界框，最后基于另一组卷积+下采样+全连接网络对边界框内的内容进行分类，并回归得到物体最优的边界框，faster-rcnn精确的检测能力能够准确地确定安全进针约束区域。

步骤(6)，在步骤(5)中确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。

可以是，在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系xyz，在世界坐标系下，靶点位置为(x0,y0,z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，

设核磁共振成像的每一层之间的物理间距为dmm，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(xk,yk,zk)，穿刺针运动学方程如下：

zk＝kd+z0

其中，θ和为球坐标系下的天顶角和方位角，r表示(xk,yk,zk)到靶点的距离，穿刺针路径的目标优化函数如下：

其中，dk表示核磁共振成像序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点核磁共振成像序列的层数，(xn,yn,zn)为在所述安全进针约束区域的入针点位置坐标，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，

在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。

在本发明中，将手术穿刺路径规划问题转化为三维空间内的轨迹规划问题，以需要避开的组织、器官等作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径。

为了保证本发明的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本发明的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织；如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本发明的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位。

本发明还提供与上述基于机器学习的手术穿刺路径智能自动化规划方法对应的基于机器学习的手术穿刺路径智能自动化规划系统，该手术穿刺路径智能自动化规划系统包括分别与上述的手术穿刺路径智能自动化规划方法的步骤(1)～(6)对应的模块。

本发明还提供包括上述的基于机器学习的手术穿刺路径智能自动化规划系统的医疗系统。

发明效果

本发明的基于机器学习的手术穿刺路径智能自动化规划方法及手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，由于利用了机器学习方法，与现有技术相比，能得到下述的有益效果。

1、本发明采用当前国际前沿的机器学习方法，引入了人工智能因素，智能化程度高，综合性价比高。

由于采用三维分割深度学习算法对穿刺路径范围内重要的组织和器官进行自动分割与识别，并据此将穿刺过程转化为三维空间轨迹规划问题，运用轨迹规划算法自动设计穿刺路径，完成术前手术计划。跟当前穿刺手术须由经验丰富的医生耗费大量时间制定术前手术计划相比，智能化程度极大提升。同时，由于深度学习算法省去了不少繁琐的精密医疗器械等硬件环节，大大节约了术前穿刺路径规划时间成本，提高了综合性价比。

2、本发明为穿刺手术目标点提供了较高的识别精度，有效避免了穿刺针对患者要害区域和关键器官部位带来的损伤，可靠性高。

由于采用三维分割深度学习算法对穿刺路径范围内重要的组织和器官进行自动分割与识别，基于聚类的思想构造三维分割深度神经网络损失函数，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，从而克服了以往的基于深度学习的算法使用交叉熵(损失l＝-[y·log(p)+(1-y)log(1-p)]，y表示样本的金标准，p表示三维分割深度学习网络输出的预测值)作为损失函数时，因背景太大、目标太小，造成分割结果过于偏向背景，进而淹没小目标的问题。本发明所设计的损失函数，使得不同类别的数据映射到特征空间后尽量远离，而同一类别的数据在特征空间尽量聚集，并且使用3dv-net网络框架，充分利用组织和器官的空间属性，从而获得了对穿刺路径范围内重要的组织和器官较高的分割识别精度，使得穿刺过程能够准确预知穿刺路径范围内重要的组织和器官边缘位置，有效避开了穿刺针对患者要害区域和关键器官部位的损伤。

3、本发明自动化程度高，克服了当前医生人工参与手术操作全程的固有缺陷，手术路径规划效率高。

本发明基于深度学习的患者要害区域和关键器官部位准确分割识别结果，须由经验丰富的医生耗费大量精力在术前手术穿刺计划设计模块上，从而转化为三维空间轨迹规划问题。在医生导入医学影像数据后，系统能够自动计算靶点和穿刺路径，将患者要害区域和关键器官部位作为障碍物，使用三维空间轨迹规划算法，以有效避开患者要害区域和关键器官部位及最短穿刺路径为原则，规划穿刺轨迹，实现了拟研究计划系统自动识别靶点、规划穿刺路径的功能。手术医生只需要验证给定路径的可行性，极大降低了术前手术规划时间，将耗费数小时的手术计划缩短至以分钟为单位，减少了医生工作量，降低了手术难度，并去除了对医生操作经验的依赖，以及需要反复观察图像调整穿刺路径造成的医生高工作负荷问题，提高了手术路径规划效率。

4、本发明克服了当前医生人工参与手术操作导致易疲劳而出错的几率，可有效避免医疗事故的发生，安全性能优越。

本发明自动分割识别患者要害区域和关键器官部位，自主规划穿刺路径，完成术前计划，去除了医生耗费数小时的术前手术计划模块，大幅降低了医生手术疲劳程度。同时，为了保证本发明的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本发明的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织；如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本发明的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位，从而能够有效避免医疗事故的发生。

附图说明

图1为本发明基于机器学习的手术穿刺路径智能自动化规划方法的总体流程的示意图。

图2(a)为示意性地表示利用本发明基于机器学习的手术穿刺路径智能自动化规划方法的医疗装置的总体结构的立体图。

图2(b)为图2(a)的医疗装置的局部立体图。

图3为利用本发明的手术穿刺路径智能自动化规划方法进行穿刺路径规划时，采用立体辅助定位仪进行穿刺目标点定位调整的典型操作界面的示意图。

图4为本发明基于机器学习的手术穿刺路径智能自动化规划方法使用的三维分割深度神经网络3dv-net网络结构的示意图。

图5为本发明基于机器学习的手术穿刺路径智能自动化规划方法中进针区域检测的深度学习目标检测算法faster-rcnn网络结构的示意图。

图6为利用本发明训练完成的三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割与识别的结果的示意图。

图7为依据本发明三维分割深度神经网络的分割识别结果和计算机断层扫描(ct)数据及核磁共振成像(mri)数据的参数(包括层厚等)快速重构的人体局部三维模型的示意图。

图8为本发明中医生手动标记以及训练得到的mri视角候选进针区域的示意图，图8中，(a)表示进针点，(b)表示mri中进针点对应位置。

图9为应用本发明基于机器学习的手术穿刺路径智能自动化规划方法获得的最佳穿刺点及穿刺路径的示意图，图9中，(a)表示球坐标系，(b)表示安全进针约束区域，(c)表示手术穿刺路径。

附图标记说明

1-立体辅助定位仪；2-医疗机械臂系统；21-多自由度机械臂；22-夹持器；23-多维力传感器；24-穿刺针；3-手术台；4-规划控制系统；5-显示装置。

具体实施方式

图1、图4、图6和图7示出了将本发明实施方式的基于机器学习的手术穿刺路径智能自动化规划方法应用于深度脑刺激手术计划系统进行穿刺路径规划的总体流程。

本实施方式的基于机器学习的手术穿刺路径智能自动化规划方法包括以下步骤(1)～(6)。

步骤(1)，获取现有病例患者的头部的计算机断层扫描(ct)和核磁共振成像(mri)样本图像数据；

获取n例(在本实施方式中n＝100)现有病例患者的头部所在区域的计算机断层扫描(ct)数据和核磁共振成像(mri)数据，对数据进行偏置场校正、灰度均衡化等预处理，预处理完成后，人工标注图像中的重要血管、神经和关键组织、丘脑底核、红核、黑核以及进针约束区域，制作训练数据及测试数据。

在本实施方式中，使用simpleitk库中n4biasfieldcorrectionimagefilter(n4偏置校正)函数进行偏置场校正。

灰度均衡化使用对比度拉伸变换的方法，s＝1/(1+(m/r)^e)，其中r表示输入图像数据的亮度，s是灰度均衡化后相应的亮度值，e控制该函数的斜率，在本实施方式中e＝20。

步骤(2)，设计三维分割深度神经网络模型，对样本图像进行训练；

基于聚类的思想，在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大的原则，构造三维分割深度神经网络损失函数；基于深度学习网络3dv-net框架，以标注的多模态数据作为训练数据输入网络，训练得到三维分割深度神经网络模型。

基于机器学习的手术穿刺路径智能自动化规划方法构造的三维分割深度神经网络损失函数，包括如下三个部分：

(1)方差项lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；

(2)距离项ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和

(3)正则化项lreg，其用于在特征空间使所有的簇心向原点的拉力，

设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项lvar产生的拉力将不再产生作用，在本实施方式中δv＝0.5，

设当两个不同类别簇心之间的距离大于阈值2δd时，距离项ldist产生的斥力将不再产生作用，在本实施方式中δd＝1.5，

设步骤(2)中使用的所述训练数据的类别数为c(在本实施方式中c＝6)，第c类含有的元素个数为nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示l2距离即定义[x]+＝max(0,x)时，方差项lvar、距离项ldist和正则化项lreg分别由下述式子表示：

其中，1≤c≤c，1≤i≤nc，表示类别a的簇心，表示类别b的簇心，

所述三维分割深度神经网络损失函数由下述的l表示：

l＝α·lvar+β·ldist+γ·lreg

其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1，在本实施方式中，取α＝1，β＝1，γ＝0.001。

以l作为三维分割深度神经网络的损失函数，利用3dv-net网络框架(参见图4)，将标注的多模态数据作为训练数据输入网络，训练得到三维分割深度神经网络模型。

步骤(3)，利用训练完成的三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、丘脑底核、红核、黑核进行分割与识别；

获取待手术患者的头部的样本图像数据、例如计算机断层扫描(ct)数据和核磁共振成像(mri)数据，经过偏置场校正、灰度均衡化等预处理后，作为输入数据放入步骤(2)中训练好的三维分割深度神经网络，得到重要血管、神经、关键组织、丘脑底核、红核、黑核的分割识别结果(参见图6)，本实施方式中使用精确率(precision)、召回率(recall)、dice值评价三维分割深度神经网络的分割性能，精确率(precision)表示正确被分类的正样本占所有实际被分类到正样本的比例，召回率(recall)表示正确被分类的正样本占所有实际正样本的比例，dice值就是精确值和召回率的调和均值。

步骤(4)，基于步骤(3)中得到的分割识别结果和样本图像数据，构建人体局部三维模型(在此为待手术患者的头部三维模型)；

在该步骤(4)中，对ct数据和mri数据中重要的血管、神经、关键组织、器官以及靶点组织进行三维重构。依据深度神经网络的分割识别结果和计算机断层扫描(ct)数据及核磁共振成像(mri)数据的参数(包括图像分辨率(在此为512*512*80)、像素之间实际物理尺寸(在此为1mm*1mm*2mm)等)，可快速重构人体局部三维模型(参见图7)。

步骤(5)，基于医生给定的靶点位置及医学先验信息，确定安全进针约束区域；

将步骤(1)中在所述多个现有病例中人工标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，将待手术患者的mri数据的2d切片作为输入数据，检测进针约束区域，

同时，基于医生长年累积的医学经验，对于不同的病症，不同的靶点位置，均有一个大致的穿刺进针区域，本例用于帕金森病治疗的深度脑刺激手术中，入颅点选择一般旁开角度15～20°，前倾角度60°左右，即位于头顶左前方和右前方，如图9所示，同时避开脑沟、血管，从脑回进入。

因此，在该步骤(5)中，将上述100个现有病例中医生标记的进针区域的mri数据作为深度学习目标检测算法faster-rcnn算法的训练数据，训练得到深度神经网络模型，用以检测进针约束区域，同时，基于给定的靶点位置及医学先验信息，进而确定符合医学要求的安全进针约束区域。图5示意性地表示本实施方式中的深度学习目标检测算法faster-rcnn网络结构。本实施方式中所确定的符合医学要求的安全进针约束区域如图8所示，在图8中，(a)表示进针点，(b)表示mri中进针点对应位置。

步骤(6)，在步骤(5)中确定的安全进针约束区域内，计算得到最佳穿刺点及穿刺路径，完成手术穿刺路径规划。

在此前的步骤中已经完成了穿刺路径周围的重要血管、神经和关键组织和器官的分割与识别，并已进行了人体头部三维重构，从而将穿刺路径规划问题转化为在三维空间的轨迹规划问题，在步骤(6)中，以需要避开的组织和器官等作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，从而完成手术穿刺路径自主规划。

为了保证本实施方式的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本实施方式的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织，如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本实施方式的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位。

参照图9对本实施方式的手术穿刺路径规划进行说明。图9为应用本实施方式的手术穿刺路径智能自动化规划方法获得的最佳穿刺点及穿刺路径的示意图，在图9中，(a)表示球坐标系，(b)表示安全进针约束区域，(c)表示手术穿刺路径。在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系xyz，在世界坐标系下，靶点位置为(x0,y0,z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，

设mri每一层之间的物理间距为dmm(在此d＝2mm)，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(xk,yk,zk)，穿刺针运动学方程如下：

zk＝kd+z0

其中，θ和为球坐标系下的天顶角和方位角，r表示(xk,yk,zk)到靶点的距离，穿刺针路径的目标优化函数如下：

其中，dk表示mri序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点mri序列的层数，(xn,yn,zn)为在所述安全进针约束区域的入针点位置坐标(在此为入颅点坐标)，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，在本实施方式中，例如可取a＝0.4，b＝0.6，

在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。

图2(a)为示意性地表示利用本发明基于机器学习的手术穿刺路径智能自动化规划方法的医疗装置的总体结构的立体图。图2(b)为图2(a)的医疗装置的局部立体图。如图2(a)、图2(b)所示，上述医疗装置包括立体辅助定位仪1(参见图3)或医疗机械臂系统2、手术台3、规划控制系统4和显示装置5，立体辅助定位仪1固定到患者头部，跟患者的脑部结构一起形成了一种三维空间坐标系，通过ct或mri扫描，可以得到带有框架坐标参数标记的患者颅脑ct或mri的图像，病人颅脑内的各个影像解剖结构都会在该坐标系内形成相应坐标值，再通过立体辅助定位仪1定义的机械数据来达到该坐标点，从而实现患者的脑立体定向配准；手术台3上搭载有立体辅助定位仪1或医疗机械臂系统2、规划控制系统4和显示装置5；其中，规划控制系统4用于控制机械臂各关节的运动，医疗机械臂系统2包括多自由度机械臂21、夹持器22、多维力传感器23以及穿刺针24；夹持器22、多维力传感器23以及穿刺针24依次固定安装于多自由度机械臂21的末端；其中，多维力传感器23由加载端、弹性体以及约束端几部分组成，加载端与穿刺针24固联，约束端与夹持器22固联，用于将穿刺针24末端所受的力和力矩通过加载端传递到多维力传感器23的弹性体上，由弹性体上的应变片组检测手术穿刺过程中力和力矩的变化；显示装置5通过规划控制系统4与立体辅助定位仪1或医疗机械臂系统2连接，用于接收通过ct或mri扫描到的多幅医学图像，并将医学图像转换为数据流信息传输给规划控制系统4，进行三维图像重构。

图3示出了利用本实施方式的手术穿刺路径智能自动化规划方法进行穿刺路径规划时，采用立体辅助定位仪1进行穿刺目标点定位调整的典型操作过程。应用上述医疗装置实施手术操作例如可具体分为如下四个步骤(a)～(d)：

步骤(a)：加载头部或胸腹部的医学扫描ct或mri图像。

步骤(b)：系统自动计算靶点和穿刺路径。

步骤(c)：医生验证给定穿刺计划的安全性和可行性，根据情况进行调整。

步骤(d)：手术机器人接受医生验证或调整过的穿刺计划，调整穿刺装置姿态，使实际穿刺角度与计划一致，并保证穿刺装置姿态不变，将穿刺针刺入靶区，实施后续流程(活检、血肿抽吸或植入)，完成穿刺手术。

本说明书实施方式所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于该实施方式所陈述的具体形式，本发明的保护范围也包括本领域技术人员根据本发明构思所能够想到的等同技术手段。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除