铅罐是半封闭结构，这令摄像机难以对铅罐内的放射源成像．抓取是一种模糊探索过程，建立机器人抓取过程的马尔科夫决策过程（Markov deci⁃sion process，MDP），记为MDP={S，A，P，R，γ}．其中，抓取位置点状态为S=[x，y]；动作空间为爪手移动量A=[Vx，Vy]； P为从当前状态转移到下一个状态的概率；R为抓取回报值，γ为折扣因子．图2为R的状态示意图．其中，虚线圆圈为爪手内部轮廓；实线圆圈为放射源外部轮廓．采用归一化尺寸，令放射源直径为1，则爪手的归一化直径为爪手直径与放射源直径的比值．采用此假设，根据爪手与放射源的位置关系，将R分为以下3种情况：
1）包含( R=1)：抓取位置刚好在放射源的抓取包络体内．通过爪手传感器判断为抓取成功．
2）交叉( R=-1)：在实际作业中，通过机器人爪手高度及底部碰撞检测力，测得抓取位置部分与放射源位置发生交集，此情况判断为抓取失败．但是，此区域内抓取成功的概率较大，该位置的抓取数据S可为后续抓取提供参考．
3）空采样(R=0)：实际作业中，通过分析机器人爪手高度及爪手与铅罐底部碰撞力，检测抓取过程中机器人爪手位置是否与铅罐底部发生接触碰撞．若发生接触碰撞，则视为抓取失败，说明此区域内无放射源，即此区域抓取成功概率为0，同时将此位置相关数据存储到历史数据库中，避免下次进入其邻域，造成重复抓取．
图2 抓取回报值状态示意Fig. 2 The reward value status diagram of grasping
本研究提出基于历史数据记忆推理学习的抓取方式，每次抓取前先比对以前的抓取情况，若有重复，则取消此次动作并重新规划，以免造成动作浪费，流程如图3．其中，n是小概率抓取个数；m是大概率抓取个数；N是总的放射源个数．抓取分为两阶段：①小概率抓取阶段判断放射源在铅罐中的粗略位置，并存储记忆数据库，为第2阶段抓取做准备；②大概率抓取阶段则是基于第1阶段的粗定位，高效完成局部抓取操作任务．
图3 基于记忆推理的抓取流程流程图Fig. 3 The grasping flow diagram based on memory reasoning
2. 1 小概率抓取学习阶段
由机器人图像定位系统，找到铅罐底部的中心位置，记为P0=[x0 y0]．根据蒙特卡罗原则，定义均匀抓取采样函数为
其中，r为采样点的极半径，r=rd×rand (1)，rd为采样半径；α为采样点的极角，α=2π×rand(1)，函数rand（1）生成0~1的随机数．小概率抓取阶段旨在探索放射源的大概位置，每次探索完毕会记录当次抓取的状态及回报值，并构造状态集S={S 1 ，S 2 ，…，Sn}，然后通过式（8）的小概率重复抓取检测函数，实现最优抓取策略的选择．
其中， λ为小概率抓取的排斥系数．若ϕ( Sn )>0，说明第n次采样是重复采样，无需进行实际抓取，只需重新决策规划；若ϕ( Sn )=0，表示第n次采样非重复采样，可进行实际抓取．每次实际抓取采样前，都要计算ϕ( Sn )，以达到学习历史数据，探索下一次抓取空间的目的．
小概率抓取算法的程序代码请扫描论文末页右下角二维码见补充材料图S1和图S2．首先，在抓取操作前，建立机器人抓取操作的环境模型．然后，进行抓取决策规划，若ϕ( Sn )=0，则表示采样成功，先将状态抓取Sn和对应的回报值分别存入小概率抓取数据库H和抓取状况历史数据库K中，然后进行实际抓取．循环采样直到抓取成功个数与交叉抓取个数的和等于总放射源数N时，表示小概率采样抓取成功．若经过指定步数后，抓取成功个数与交叉抓取个数的和小于N，则表示抓取失败，需重新抓取．
2. 2 大概率抓取操作
小概率抓取虽然全部抓取成功的可能性很小，但得到放射源邻近位置的概率很大，且能记忆历史操作．在大概率抓取作业阶段，机器人通过查询记忆库中的抓取情况来完成抓取任务，抓取过程伪代码请扫描论文末页右下角二维码查看补充材料图S3和图S4，算法步骤为：
1）初始化已抓取数据库h=∅，判断2. 1节的抓取状态历史数据库K的第i行，若K (i，：)=1，表示机器人已经抓取了该位置的放射源．
2）判断K (i，：)=-1时，若此时h=∅，则用均匀抓取采样函数locate（H（i，：））进行采样，获得新的抓取位置坐标，并存入h；若h≠∅，则采用中心移动采样函数进行采样．中心移动采样函数为
其中， g=sum (( [h ；H (i，：)]，1)/size(h，1)+1)， g为新采样中心的位置矩阵，函数sum（[h；H（i，：）]， 1）表示对矩阵按行求和，函数size（h，1）求得h的行数．中心移动式采样过程如图4．首先，机器人围绕放射源进行随机采样，得到第1次采样结果S1．随后，采用中心偏移法将采样中心移至g1，在以g1为中心的圆C1内进行第2次采样，得到采样结果S2．再次将采样中心偏移到g2位置，对以g2为中心的C2区域内以同样方法进行第3次采样．这样，每次采样都向放射源的方向移动，采样成功的概率逐渐加大，直至最后抓到放射源．
图4 中心偏移采样示意Fig. 4 The schematic diagram of center offset sampling
3）基于对过去采样结果的推断，评估是否空抓取．定义大概率重复抓取判断函数为
其中，δ为大概率抓取的排斥系数．若φ(h，S)>0，说明发生了重复采样，需重新采样．每次采样都要进行式（10）计算，以避免抓取历史空位置．
4）循环步骤1）—3），若在规定时间内抓取到所有放射源，则停止抓取；否则，重新抓取．
