作者简介:罗 娜(1992—),女,深圳大学硕士研究生.研究方向:医学图像处理.E-mail: 412393206@qq.com
中文责编:英 子; 英文责编:子 兰
1)医学超声关键技术国家地方联合工程实验室,广东省生物医学信息监测与超声成像重点实验室,深圳大学生物医学工程学院,广东深圳 518060; 2)深圳市妇幼保健院超声科,广东深圳 518000
Luo Na1, Li Jing1, Zhou Chengli2, Zheng Jiezhi1, and Ni Dong11)National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, Guangdong Key Laboratory for Biomedical Measurements and Ultrasound Imaging, School of Biomedical Engineering, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China2)Department of Ultrasound, Shenzhen Maternity & Child Healthcare Hospital, Shenzhen 518000, Guangdong Province, P.R.China
biomedical engineering; ultrasound images; image processing; femur length measurement; Frangi filter; prenatal diagnosis
DOI: 10.3724/SP.J.1249.2017.04421
提出一种全自动测量胎儿股骨长的方法,利用Frangi滤波器结合灰度信息分割出超声图像中股骨的候选区域,根据候选区域位置、形状信息定位出股骨区域,利用股骨区域的边缘和拟合出的骨架化曲线定位到股骨的端点,并计算得到股骨长.与医生手动测量结果对比,70幅股骨图像的平均测量误差为1.18 mm,表明该方法可准确测量股骨长.
We propose a novel automatic method to measure the fetal femur length. First, the candidate regions containing the femur are detected in the ultrasound image using Frangi filter and gray information. Then, the femur region is localized based on both the shape and position of the candidate regions. Finally, the femur end points are determined by detecting the edges of the femur region and fitting the femur skeleton. The femur length is measured. Comparing with the results measured by doctors, the average measurement error of 70 ultrasound femur images is 1.18 mm, which indicates that our method can accurately measure the femur length.
医学超声成像因具有实时[1]、廉价、无辐射等优点,已成为产前超声检查诊断的常用方法.从超声图像中测量胎儿的股骨长、头围和腹围等生物参数[2],对评估胎儿的发育状况有重要参考[3- 4].在临床中,胎儿的生物参数通常由医生手动测量完成,其准确性高度依赖医生的临床经验,且不同医生的手动测量结果存在差异[5].此外,超声医生频繁、重复的操作易引起重复性压力损伤[6].因此,实现超声图像中胎儿生物参数的自动测量具有重要临床意义.近年来已有学者进行了胎儿生物参数自动测量的相关研究.Zhang等[7]提取胎儿解剖学结构的纹理特征,根据纹理和亮度信息检测边缘对图像进行分割,再根据最远两端点距离计算股骨长,平均耗时较长,达到163 s.Wang等[8]利用最大熵分割法(entropy-based segmentation)和股骨形态学特征确定股骨区域,计算股骨区域中最大矩形的对角线长度作为股骨长.余锦华等[9]提出基于二次迭代霍夫变换(two iterative Hough transform, TIRHT)的方法,使用结合空间邻域信息的二维模糊C均值聚类方法(two-dimentional fuzzy C-means,2D FCM)抑制斑点噪声,再用直线Hough变换对骨骼细化图像进行处理,采用二次曲线对股骨进行拟合得到股骨长.但该方法需要手动标记感兴趣区域(region of interest, ROI),仅实现半自动测量.
超声图像中胎儿股骨测量的主要难点在于:① 超声图像中通常存在信噪比低、边缘缺失、模糊、伪影和斑点噪声等问题,股骨精确分割难度大; ② 医学上对股骨端点的定位为,股骨两端“U”形的中点,不包括骨骺端[10],如图1.目前大多数股骨自动测量算法仅以股骨分割图像最远的两个端点为测量端点,不符合医学上对股骨端点的定位.本研究提出基于Frangi滤波器的股骨自动测量方法,能自动检测股骨区域,并对股骨端点进行定位.
本研究方法流程为:首先去掉原始图像中的干扰区域,确定框选区域4个顶点,批量自动框选出股骨所在的图像区域,见图2(a)和(b); 使用Frangi滤波器对框选区域进行去噪,并检测股骨候选区域,如图2(c); 利用股骨外接矩形的长宽比率以及股骨位置信息确定股骨区域,见图2(d)和(e); 接下来,对股骨细化得到股骨中心线,并对其进行直线拟合,见图2(f); 最后,通过所拟合的直线和股骨轮廓的交点求得股骨端点位置,从而求得股骨长,见图2(g),并将测量结果显示在原始图像上,图2(h).
Frangi等[11]提出基于多尺度的血管增强方法.该方法将血管增强看作一种寻找管状几何结构的滤波过程,称为Frangi滤波.考虑到股骨与血管均呈管状结构,本研究使用Frangi滤波器分割出股骨候选区域,运用形态学方法进行边缘检测.
Frangi滤波器是基于Hessian矩阵[12]特征向量的管状滤波器,利用高阶微分提取图像体素的特征方向.输入图像 I在点 a0(x0, y0)邻域的泰勒展开式为
IS(a0+Δa0)≈IS(a0)+ΔaT0Δ a0,S+
ΔaT0H0,SΔa0(1)
其中, Δ a0,S和 H0,S分别为以尺度S计算的图像在点 a0处的梯度向量和Hessian矩阵; ΔaT0是 a0点邻域变量(Δx0,Δy0)的转置.在该框架中,一阶微分算子被定义为输入图像 I与高斯函数微分的卷积,即
(()/(a))IS(a)=SγIS(a)×(()/(a))GS(a)(2)
其中, γ是引入的用于定义一个归一化的导数族[11],对多尺度微分算子间的公平性反馈具有重要作用.
若无优选尺度,设γ=1. 二维高斯函数GS(a)定义为
GS(a)=1/(2πS2)e(=a=)/(2S2)(3)
其中,Hessian矩阵可用二阶方向导数构造
ΔaT0H0,SΔa0=1/2(()/(Δa))(()/(Δa))IS(a0)(4)
其中,微分定义见式(2).
通过分析Hessian矩阵特征向量,可获得向量的主要方向,使这些方向上输入图像 I的局部二阶结构能够被分解.
令λS,k为尺度S下得到的Hessian矩阵 H0,S的第k个特征值,与之对应的特征向量为 uS,k, 则由特征值和特征向量的定义可得
H0,SuS,k=λS,kuS,kuTS,k H0,SuS,k=λS,k(5)
因此,图像 I在点 a0的二阶导数的大小和方向可由Hessian矩阵 H0,S计算的特征值与特征向量描述.通过特征值分解可得到3个正交方向的特征向量 λS,1,λS,2和λS,3, 见图3[11].
图3 二阶椭球体描述的局部曲率方向[11]
Fig.3 The local curvature directions which is described by the second order ellipsoid[11]
本研究将股骨看作一个二维管状结构,故仅考虑λS,1和λS,2. 幅值最大的特征值对应的特征向量代表图像中某点曲率最大方向.
由于股骨图像的灰度值比背景高,且面积仅占整幅图像的小部分,为避免随机噪声波动可能引起的不可预知的滤波响应,该先验信息也需要被采用.由于背景像素的导数值非常小,为更好的区分,Frangi引入另一测度
S==H0,S==(λ2S,1+λ2S,2)1/2(6)
因为背景区域的对比度低且特征值小, S的值在非待测管状结构的背景区域将变得很小; 在股骨等对比度高的区域则较大[13].基于以上假设,Frangi提出了下述管状物体增强滤波器:
V(a)={0, λS,1>0
e-(R2B)/(2β2)(1-e-(S2)/(2c2)), λS,2≤0(7)
其中, RB=λS,1/λS,2, 为二阶椭圆的离心率; β和c为归一化常量.当检测到股骨等管状结构时,超声图像的Frangi滤波响应最大.Frangi滤波结果见图4.
采用Frangi滤波器滤波后,需对图像进行二值化处理.本研究对所有高亮区域求其外接矩形,并将外接矩形的长按递减排序,则最长的几个高亮区域被判定为股骨候选区域.在超声图像中,同时存在一些类似股骨形状的细长高亮噪声区域,因此不能判定最长的高亮区域为股骨区域.为此,加入候选区域距离图像中心的位置信息.由于胎儿超声标准切面中通常将目标物体置于图像中心附近位置,因此判定最长的几个候选区域中距离中心最近的细长高亮区域为股骨,见图5.由此,可得到最终的股骨图像.
股骨测量中,很重要的一步就是要准确地找到股骨的端点.因为股骨的端点需要定位到两端“U”形的中点,因此,确定股骨的中轴线就十分必要. 一旦得到了股骨分割结果的二值图像,从而很容易得到股骨的边缘轮廓及骨架化结果.
本研究用最大圆盘概念来定义骨架.设C为输入图像R的一个内切圆,则C至少有两点与 R相切.若C不是 R内任何内切圆的子集,则称C为图像 R内的最大圆盘,此时骨架 B可定义为图像 R内所有最大圆盘圆心的集合[14].由图6(a)可知,每个骨架点都与一个最大圆盘的圆心相对应,每个最大圆盘与目标图像有且只有两个交点,且交点到骨架点的距离相同.因此,骨架的中轴特性得到了很好的保证[15].将骨架化后曲线与轮廓的交点距离最远的两点标记为股骨的端点,如图7.一旦确认了股骨的端点后,即可通过计算简单的两点间距离得到股骨长度.
本研究对70幅18~27孕周的胎儿股骨超声图像进行实验,所有图像均由深圳华侨城医院医学影像科使用威尔德超声仪FDC6100采集获得.为验证算法的可行性和准确性,分别从股骨分割结果和测量结果两方面进行对比.分割结果采用基于面积[16]和基于距离[17]指标,并与Wang等[8]提出的最大熵方法的分割结果比较. 采用Bland-Altman指标[18]对测量结果的一致性进行分析.
基于面积的评价指标用于比较自动分割区域和手动分割区域之间的差异.基于面积的评价指标包括精确度(θprecision)、 特异性(θspecificity)、 敏感性(θsensitivity)和一致性(θdice)[19], 计算公式依次为
θprecision=|(RAM∪RGT)/(RAM∩RGT)|(8)
θspecificity=(|RAM∪RGT|)/(|RGT|)(9)
θsensitivity=(|(RAM∪RGT)c|)/(|(RGT)c|)(10)
θdice=(2|RAM∪RGT|)/(|RAM|+|RAM|)(11)
需要注意的是,本研究的评价结果是各个指标的平均值.其中, RAM是自动分割得到的股骨区域; RGT是医生手动分割得到的股骨区域.
基于距离的评价指标是比较自动分割结果和手动分割结果的轮廓差异.评价指标包括最大对称轮廓距离(maximum symmetric contour distance,MSD)、平均对称轮廓距离(average symmetric contour distance,ASD)和均方根对称轮廓距离(root mean square symmetric contour distance,RMSD),如式(13)至式(15).其中, C(RAM)和 C(RGT)分别是 RAM和 RGT的轮廓, cRAM和cRGT分别是C(RAM)和C(RGT)上的元素,图像中某点p到轮廓的最短距离定义为
dM(p,C(RGT))=min=p-cRGT=(12)
基于两种指标的实验结果见表1.需要注意的是,当自动分割结果与医生手动分割结果无交集时,结果不计入评价指标中[19].由于本研究所提方法与Wang等[8]的方法均使用图像处理方法,故与Wang等的方法进行对比.从表1可见,本研究方法的结果在基于面积和基于距离的两种指标上,均略优于Wang等的方法.其原因在于该方法使用最大熵的方法分割股骨区域,容易造成灰度缺失,造成检测结果偏小.
MSD=max{max dM[cRGT, C(RAM)], max dM[cRAM, C(RGT)]}(13)
ASD =1/(|C(RGT)|+C(RAM))×
{∑cRGT∈C(RAM)dM[cRGT, C(RAM)]+∑cRAM∈C(RGT)dM[cRAM, C(RGT)]}(14)
RMSD =(1/(|C(RGT)|+C(RAM)))1/2×
(∑cRGT∈C(RAM)d2M[cRGT, C(RAM)]+∑cRAM∈C(RGT)d2M[cRAM, C(RGT)])1/2(15)
图8为自动测量结果和医生手动测量结果定性对比结果. 其中,绿色虚线为医生手动测量结果,红色虚线为自动测量结果.结果表明,自动测量的股骨端点及其连线与医生手动测量结果基本重合.
图8 自动测量结果与医生手动测量结果对比
Fig.8 Comparison between the results of automatic method and those of manual measurement by doctors
图9显示采用Bland-Altman评价指标定量分析自动测量结果和医生手动测量结果,可见,自动测量结果和手动测量结果的平均相对偏差d -=1.18 mm,
标准差Sd=4.67 mm,95%一致性界限为-7.97 mm和10.32 mm.采用t检验[20]验证自动测量结果和医生手动测量结果之间是否存在显著性差异.结果显示, t检验P值为0.11(>0.05),表明自动测量结果和医生手动测量结果之间无显著性差异(P>0.05表示差异不显著).
在Matlab环境下,每幅图的自动测量平均耗时为0.31 s,Wang算法平均耗时0.37 s,而医生手动标定股骨两端点并得到股骨长的时间约为3.05 s,本研究算法耗时较手动标定方法约快10倍.
提出一种全自动测量股骨长的方法,用先验知识定位股骨大致区域,采用Frangi滤波器对图像进行滤波和增强,再根据图像信息确定股骨位置,对目标区域进行骨架化处理,通过计算骨架化后的曲线与股骨外围轮廓的交点测量出股骨长.对70幅超声股骨图像的实验结果表明,所提股骨自动测量方法与医生手动测量方法得到的股骨长无显著性差异,算法可行.同时,自动方法比手动方法快约10倍,达到临床实时性的需求.后续我们将会把该方法用于超声中胎儿其他解剖部位的自动测量(如肱骨测量),以期形成一个完整的生物参数自动测量系统并应用于临床.
深圳大学学报理工版
JOURNAL OF SHENZHEN UNIVERSITY SCIENCE AND ENGINEERING
(1984年创刊 双月刊)
主 管 深圳大学
主 办 深圳大学
编辑出版 深圳大学学报理工版编辑部
主 编 阮双琛
国内发行 深圳市邮电局
国外发行 中国国际图书贸易集团有限公司(北京399信箱)
地 址 北京东黄城根北街16号
邮 编 100717
电 话 0755-26732266
0755-26538306
Email journal@szu.edu.cn
标准刊号 ISSN 1000-2618
CN 44-1401/N