作者简介:徐 静(1989-),女(汉族),安徽省淮北市人,南京航空航天大学硕士研究生.E-mail:xujing_ll99@163.com
中文责编:英 子; 英文责编:雨 辰
1)南京航空航天大学电子信息工程学院 南京210016; 2)南京航空航天大学航天学院 南京210016
Xu Jing1 and Wang Caiyun21)College of Electronic and Information Engineering, Nanjing University of Aeronautics & Astronautics, Nanjing 210016, P.R.China2)College of Astronautics, Nanjing University of Aeronautics & Astronautics, Nanjing 210016, P.R.China
information processing technology; compressed sensing(CS); measurement matrix; chaos factor; momentum term; gradient descent algorithm; reconstructed image
DOI: 10.3724/SP.J.1249.2014.01058
针对压缩感知中测量矩阵的优化问题,提出一种基于混沌因子和动量项的梯度下降法.在测量矩阵优化过程中,梯度下降法具有收敛速度慢,容易陷入局部最小的缺点. 为此,基于混沌运动的随机性和遍历性,在步长变化中引入混沌因子,避免因初始步长选择不当导致算法的不稳定且实现步长的自适应变化; 同时利用动量项,避免算法陷入局部最小值,提高算法的收敛速度,优化测量矩阵性能,降低测量矩阵与稀疏矩阵互相关性.仿真结果表明,该方法收敛速度快,互相关系数的分布更加集中在零附近,且重构图像的峰值信噪比大大提高.
A hybrid method is proposed for optimizing the measurement matrix in compressed sensing.A significantly improved gradient descent algorithm combining chaos motion and momentum term is presented to solve the problem of slow convergence speed and local minimum of gradient descent.Based on randomness and ergodicity of chaotic motion,a chaos factor is introduced to stepsize so that the stepsize is adaptive in the iteration process.Momentum term is added to avoid falling into local minimum and improve convergence speed.The simulation results have demonstrated that the speed of optimizing matrix is fast, and more mutual coherence coefficients are distributed around zero. The peak signal to noise ratio(PSNR)of reconstructed image through compressed sensing is improved with the optimized measurement matrix.
压缩感知(compressed sensing,CS)理论是由Donoho等人[1-3]在信号分解与逼近理论的基础上提出的.该理论中图像/信号的采样和压缩同时进行,大大降低了传感器的采样和计算复杂度,将图像/信号处理研究带入崭新时代,在CS雷达、信道编码、生物传感模拟/信息转换、光谱分析以及模式识别等领域都有重要应用[4-7].
CS理论中,为实现信号的高精度恢复,要求测量矩阵和稀疏矩阵的互相关性尽可能小,且相关性越小,信号恢复时所需的测量值数目越少,恢复精度越高.目前,针对降低两者互相关性的研究有Elad[8] 提出基于Gram矩阵的t平均互相关性,通过阈值缩放处理减小非对角线元素; Abolghasemi等[9]利用梯度下降迭代法使得Gram矩阵接近于单位阵; 赵瑞珍等[10]提出基于Gram矩阵的整体互相关系数,采用特征值分解方法减小互相关系数. 以上研究表明,通过降低互相关性可得到性能更优的测量矩阵,从而提高信号的重建精度. 为此,本研究基于混沌因子和动量项的梯度下降法,对压缩感知矩阵进行优化,并展开测量矩阵的研究,这对推进压缩感知理论的发展和应用具有一定意义.
设x∈Rn×1为长度为n的一维离散时间信号,CS理论主要包含3方面内容:
1)稀疏变换. 寻找正交变换基Ψ={Ψ1,Ψ2,…,Ψn}, 使信号x在这组基上是稀疏的,即x=Ψα;
2)测量矩阵设计.用一个与变换基不相关的测量矩阵Φ∈Rm×n (mn)对原始信号进行线性测量,得到测量向量y=Φx(y∈Rm×1),保留信号x从Rn→Rm过程中用于重构的主要信息;
3)信号重构.利用重建算法解决最优问题min= α=1,s.t. Θα=ΦΨα=y, 实现从测量值 y中恢复出原始信号x.
针对测量矩阵与稀疏矩阵的互相关性,建立测量矩阵的优化模型.根据压缩感知理论可知感知矩阵Θ=ΦΨ=[θ1, θ2, …, θn]∈Rm×n, 其中Φ是测量矩阵, Ψ是稀疏矩阵. 因此,Φ与Ψ的互相关性可等价为Θ各列间归一化互相关系数的最大值[11],即
μ(Θ)=max1≤i, j≤n, i≠j|(〈θi, θj〉)/(=θi=2·=θj=2)|=
max1≤i, j≤n, i≠j|θ ^Ti θ ^j|(1)
若Gram矩阵G=Θ ^TΘ ^=(gij)n×n,其中Θ ^是Θ列单位化后的矩阵,则G的主对角线元素为Θ ^矩阵各列的自相关系数,非对角元素为各列间的互相关系数,因此最大相关系数为
μmax=max1≤i, j≤n, i≠j|gij|(2)
由于本研究的优化目标是测量矩阵与稀疏矩阵的互相关系数尽可能小,理想情况下μmax=0,则G矩阵近似于单位矩阵,即
G=ΨTΦTΦΨ≈I(3)
对ΨΨT进行特征值分解得到VUVT=ΨΨT. 令Γ=VU,则测量矩阵的优化模型为
J=minΦ=ΓTΦTΦΓ-U=2F(4)
梯度下降法具有收敛速度慢,稳定性受步长影响大,且易陷入局部最小的缺点.为此,本研究提出一种基于梯度下降的测量矩阵优化混合方法,如
Φk=Φk-1-βk-1,jΦk-1J(Φk-1)+ηΔΦk-1(5)
其中,k是迭代次数; βk,j是步长参数,βk,j=αkzk,j; zk,j是混沌因子,zk,j=4 zk,j-1(1-zk,j-1); r是混沌因子的个数(本研究设r=5), j=1,2,…,r; Φk-1J(Φk-1)为梯度; ηΔΦk-1为动量项, η为动量项因子.
混沌运动具有随机性和遍历性等特点,能在一定范围内按自身规律无重复的遍历其所有可能达到的状态.因此在步长变化中引入混沌因子zk,j,不仅能初始化步长,且能通过调节混沌因子使步长不断减小,保证算法的收敛性.
在迭代初期希望β变化较大,随着迭代进行,Φ越来越接近最优值,则希望β的变化较小.因此,步长的自适应变化为βk,j=αkzk,j(j=1,2,…,r), 参数α是混沌优化算法中的调节常数,本研究中采用自适应方式,计算表达式为[12]
αk=1-((k-1)/k)s(6)
其中,s为幂指数,本研究取值为2.由式(6)可知,随着迭代次数k的增加,α逐渐减小,从而实现步长的自适应变化.
由于动量项能有效加速系统收敛速度和避免算法陷入局部极小值,因此多用于传统BP算法,以改善算法收敛性能[13-14].本研究在测量矩阵Ф的更新过程中加入动量项,则Ф的更新操作为
Фk=Фk-1-βk-1Фk-1Γ(ΓTФTk-1Фk-1Γ-
U)ΓT+η[Фk-1-Фk-2](7)
其中,Фk-1J(Фk-1)=Фk-1Γ(ΓTФTk-1Фk-1Γ-U)×ΓT; ηΔФk-1=η[Фk-1-Фk-2].由式(7)可见,此算法利用相邻时刻间测量矩阵的相关性,在梯度下降迭代过程中融入动量项ηΔФk-1, η∈(0,1)为动量项因子,不仅可使算法避免收敛至局部最小值,且提高算法速度,改善算法性能.本研究的核心算法见表1.
采用系统仿真验证本方法的有效性.仿真条件为:选取256×256的House图像为实验对象,测量矩阵分别为m×256的高斯随机矩阵和循环矩阵,测量数m在60~200内变动,稀疏矩阵为256×256离散余弦变换矩阵,动量项因子η∈(0,1),终止门限ε=0.001,正交匹配追踪(orthogonal matching pursuit,OMP)算法选取OMP算法.
图1为测量矩阵大小为200×256的高斯随机矩阵,当动量项因子η取不同值时,目标函数J值的变化曲线.由图1可知,η值越大,J的收敛速度越快,因此在J最终取值差异不大时,η值越大越利于算法收敛.此外,η的取值跟步长相关,步长较小时,η需取较大值以降低算法误差,提高收敛速度; 步长较大时,η需取稍小值以确保算法收敛.结合本研究中β<1, 且随着迭代次数的增加,β逐步减小,综合以上理论分析和仿真实验,取η=0.8进行后续的仿真实验研究.
图2为重构图像峰值信噪比(peak signal to noise ratio,PSNR)随测量数目m的变化曲线. 其中, m从60到200变化.由图2可知,将本方法优化后的测量矩阵用于图像重建,所得PSNR值均优于Abolghasemi和赵瑞珍的方法,更优于未经优化的测量矩阵图像重建效果.PSNR值的提高表明,本研究的优化方法可提高图像重建精度, 改善重建质量.
图3给出测量矩阵为高斯随机矩阵,测量值取200时House图像重建效果.由PSNR值对比可知,本研究方法重建图像质量优于Abolghasemi和赵瑞珍等重建图像质量.此外,测量矩阵为高斯矩阵和循环矩阵时,本研究方法平均迭代次数为25~30次; Abolghasemi方法两种情况下的平均迭代次数均为100次,表明本研究方法收敛性更好,优化效率更高.
图4统计了测量矩阵与稀疏矩阵的互相关系数μmax分布情况,其中测量矩阵选用大小为200×256的高斯随机矩阵,统计间隔为0.025.对比本研究优化前后测量矩阵与稀疏矩阵的互相关系数分布,显然优化后的测量矩阵与稀疏矩阵的互相关系数的分布更集中在0附近,说明本研究方法达到降低两者互相关性的目的.
图3 测量矩阵为200×256的高斯随机矩阵重建图像
Fig.3 The reconstructed images with Gaussian measurement matrix of 200×256
本研究提出一种结合混沌因子和动量项的梯度下降优化测量矩阵的混合方法.针对梯度下降法收敛速度慢,易陷入局部最小的缺点,通过引入混沌因子和动量修正项对梯度下降法进行改进.利用混沌因子的随机遍历性调节步长,实现步长的自适应变化,避免因初始步长选择不当导致算法的不稳定; 动量修正项的引入加速算法的收敛速度,避免算法陷入局部最小,增强算法的稳定性.实验结果表明,本研究方法优化后的测量矩阵用于图像重建,测量值取200时,重建图像的PSNR值提高至少1.6 dB,且迭代次数至少减少50%.因此,本研究所提出的测量矩阵优化方法能够有效的降低测量矩阵与稀疏矩阵的互相关性,提高图像重建质量.
深圳大学学报理工版
JOURNAL OF SHENZHEN UNIVERSITY SCIENCE AND ENGINEERING
(1984年创刊 双月刊)
主 管 深圳大学
主 办 深圳大学
编辑出版 深圳大学学报理工版编辑部
主 编 阮双琛
国内发行 深圳市邮电局
国外发行 中国国际图书贸易集团有限公司(北京399信箱)
地 址 北京东黄城根北街16号
邮 编 100717
电 话 0755-26732266
0755-26538306
Email journal@szu.edu.cn
标准刊号 ISSN 1000-2618
CN 44-1401/N