作者简介:黄海明(1985—),深圳大学博士后研究人员.研究方向:软体机器人、柔性传感、机器人技术、嵌入式机电控制系统,以及机器学习.E-mail:haimhuang@163.com
中文责编:英 子; 英文责编:木 柯
1)深圳大学电子与信息工程学院,广东深圳 518060; 2)清华大学智能技术与系统国家重点实验室,北京 100084
1)College of Electronics and Information Engineering, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China2)Department of Computer Science and Technology, Tsinghua University, Beijing 100084, P.R.China
robot technology; intelligent robot, flexible sensor; soft robotic hand; optical fiber; curvature perception; posture recognition
DOI: 10.3724/SP.J.1249.2019.03237
软体仿人手的感知能力是实现友好交互和灵巧操作的重要条件.柔性的光学弯曲传感器由发光二极管(light emitting diode, LED)、光导纤维和光敏传感器组成,易嵌于软体手指内.经粗糙化的光导纤维可产生光线溢出,通过测量光能损耗量可获得软体手指的弯曲度; 利用归一化标定软体手指初始(伸直)和最大弯曲状态的采样电压值,对归一化后的电压值进行均匀、非均匀和滞环分段,并融合5指弯曲信息实现连续运动检测、动作姿态和物体大小识别.实验结果表明,光学弯曲传感器可检测连续正弦运动状态; 正确识别多种手势和抓握姿态; 也可识别物体大小,结合滞环分段方法,解决单点分类切换存在振荡不足的问题,提高识别率.这种光学式柔性弯曲传感器具有电磁免疫、易于内嵌的优势,在软体手和软体执行器中具有重要应用价值.
The perception capability of soft humanoid hand is very important to the implementation of friendly interactive and dexterous operation. The flexible optical bending sensor which is easy to be embedded into the soft finger is comprised of light emitting diode(LED), optical fiber and photo-sensitive sensor. The roughened optical fibers can generate light overflow. And the bend degree of soft fingers can be obtained by detecting the loss of light energy. The abilities of continuous movement detection, action gestures and object size recognition are implemented according to the following operations: ① calibrating the initial(unbent)and maximum bending statuses of soft fingers with normalization method; ② segmenting the normalized data by uniform, nonuniform and hysteresis segment method; ③ merging together the information of five fingers. The experiment results show that the proposed optical fiber bending sensor is able to detect the continuous sinusoidal movement status, correctly recognize various gestures and grasping postures and the object size. Combining hysteresis subsection method, the shortcoming of single point subsection oscillating near subsection point is overcome, and the recognition rate is improved. This optical flexible bending sensor has the advantages of electromagnetic immunity and easy to be embedded. It has important application value in soft robotic hand or soft actuator.
近年来,软体机器人因其柔软、无限自由度、制造和控制简单等特点,成为机器人领域的研究热点[1-2].在柔性抓取和灵巧操作方面,HAO等[3]研制了通用型软体抓手和软体章鱼触手.JING等[4]研制了蜂巢结构的软体抓手.魏树军等[5]研制纤维驱动型软体抓手.DEIMEL等[6-7]研制的RBO hand,可实现17种姿态动作,能用数据手套交互.但它们缺少传感器,无感知能力,因此应用范围受限.田梦倩等[8]开发了内骨骼结构的软体手,配备微机电系统(microelectro mechanical system, MEMS)传感器,但缺乏柔性.TAVAKOLI等[9]在软体手上分布柔性电容传感器,感知接近物体的导电性,提供简单的自主操作.ZHAO等[10]自制光导纤维,结合发光二极管(light emitting diode, LED)、光敏传感器制成柔性传感器,内嵌到软体假手中,用于识别物体的形状和纹理.柔性传感器适合与软体手共融,可提高感知能力.然而,现阶段仍缺少用于软体手的柔性传感器,对传感器信息处理简单,导致检测、识别和感知能力低.
常用的柔性传感器有电阻式[11]、电容式[12]和光学式[13]等.电阻式和电容式传感器易于阵列式分布,适合检测手掌和指尖压力.光学式柔性传感器的核心部件(光导纤维)具有电磁免疫特性,易于嵌入载体以形成一体化的传感-执行结构[14].光纤光栅位移传感器适用于大变形传感,但信号处理设备成本高[15].ZHAO等[16-17]利用廉价的光导纤维做成位置传感器,构成软体矫正器的位置闭环控制,并将该传感器用于软体手中.为提高柔软性,ZHAO等[10]利用两种不同折射率的硅胶材料制成光导纤维,内嵌于软体手中,用于识别物体形状及成熟特性等,但仍缺少对传感器信息的深度挖掘.
本研究综合考虑成本和制造工艺,以商业光导纤维为核心部件制成弯曲传感器.通过粗糙化处理使光导纤维受力弯曲时产生光能损耗,用于测量软体手的弯曲度.通过对弯曲信息的归一化处理,以及均匀、非均匀和滞环分段处理,并结合软体手5指的弯曲信息实现连续运动检测、动作姿态和物体大小识别,使软体手具有感知能力.
光学弯曲传感器以光导纤维作为核心元件,通过检测光在传输过程中因弯曲引起的光强变化量,推算出光导纤维的弯曲量.该光学弯曲传感器具有柔性特征,适合与软体手指构成一体化的传感-执行结构.通过测量弯曲量,获得软体手指的弯曲度.
如图1(a),弯曲传感器由LED、光导纤维和光敏传感模块组成.LED提供的光源从光导纤维一端传输到另一端,并由光敏传感模块接收.图1(b)利用热缩管固定LED和光导纤维,避免松动脱落,并使两者端面紧密靠近,利于光线传输.利用可调电阻调节电压控制LED的输出光强.采用同样方法,利用热缩管固定光敏传感模块和光导纤维的另一端.利用电流采集模块采集光敏模块的输出电流变化量以测得光强.
选用直径为0.5~3.0 mm的商业光导纤维丝作为弯曲传感器的核心元件,嵌入到软体手指中使其结构紧凑.
对光导纤维进行粗糙化处理,使其在弯曲时能够溢出光线,引起光能损耗.如图2(a)所示,将光导纤维弯成U形,对上表面以2 mm间距进行切割,每个间隔内切割25刀,即每刀间隔0.08 mm,使被切部分变得粗糙,利于光线溢出.测量弯曲传感器向下弯曲时的光能损耗量,此操作适用于软体手指的正向弯曲测量.图2(b)是经激光切割机处理后得到的粗糙化光导纤维.
将粗糙化处理后的光导纤维嵌入到软体手指中,形成一体化传感-执行结构以实现同步弯曲,通过检测光导纤维的弯曲度可得到软体手指的弯曲度.如图3(a)将光导纤维固定于模具上,浇注硅胶材料进行固化处理,使软体手指与光导纤维融为一体.图3(b)是内嵌光导纤维的软体手指,延伸出的光导纤维用于与LED和光敏传感模块连接.将5根加工好的软体手指安装到手掌上,集成5指软体手,如图3(c).
光学弯曲传感器通过检测光强的变化获得弯曲信息.光学弯曲传感原理如图4,LED光通过光导纤维传输到光敏传感器.如图4(a),若光导纤维未经粗糙化处理,LED光在传输过程中没有光能损耗,这时即使光导纤维发生弯曲,也不会引起光强变化,因此无法测出弯曲度.如图4(b),若光导纤维已经过粗糙化处理,则在传输过程中会有部分光线溢出.当光导纤维发生弯曲时,溢出的光线更多,导致光能损耗加大.弯曲程度越大,光能损耗越大.假设光导纤维在无弯曲、无拉伸且无压力情况下的基准光能为I0,在检测过程中的光能为I, 则其能量损耗为
a=10lg(I0/I)(1)
当光能损耗对应于基准光能时, a=0; 光能增大时, a<0; 光能减小时, a>0.
将光导纤维内嵌于软体手指中,通过测量光导纤维的弯曲度可获得软体手指的弯曲度,而光导纤维的弯曲度可通过光敏传感器测量光照强度转换得到.在本研究中,光敏传感模块将输出的电流转换为电压,再使用数据采集系统采集该电压(V)测量光强变化,进而推算出软体手指的弯曲度.分别采集软体手指初始(伸直)状态和最大弯曲状态下的电压V0和Vmax, 分别对应最小和最大弯曲度.
考虑到5指软体手每个手指间的信息统一,利用归一化方法将软体手指的弯曲变化数值限制在[0, 1]内.通过分段处理,将每根手指的弯曲状态分成若干段,以便识别软体手指的姿态和物体大小.
归一化处理的优点在于:① 对单个手指,以初始(伸直)状态和最大弯曲状态作为上下限,可忽略因光源差异引起初始值不同的影响; ② 对于多个手指间的关联问题,利用统一衡量则可忽略不同手指间因传感器差异引起采样电压范围不一致的影响; ③ 利于每个手指的统一分段,为后续姿态识别和物体大小识别提供统一的参考信息.
设软体手指在初始(伸直)状态下的电压为Vi,0, 在最大弯曲状态下的电压为Vi, max, 则软体手指的弯曲度可表示为
Ni, x=(Vi, x-Vi, 0)/(Vi, max-Vi,0)(2)
其中, i=0, 1, 2, 3和4, 依次对应拇指、食指、中指、无名指和小指.
为能实现软体手的姿态识别和物体大小识别,对已作归一化处理的数据进行分段处理.分段处理方法包括均匀分段、非均匀分段和滞环分段.
均匀分段是将[0, 1]内的弯曲度均匀分为M段, 则第m段的段数为
Si, x=m, Ni, x∈[(m-1)/M, m/M](3)
其中, m=1, 2, …, M; Si,x为第i个手指对应的分段值; i=0, 1, 2, 3, 4, 依次对应拇指、食指、中指、无名指和小指.
非均匀分段的分段点不具有均匀特性.如分段的段数为M, 则第m段的段数表示为
Si, x=m, Ni, x∈[NSi, m-1, NSi, m](4)
其中, NSi, m-1对应第i个手指第m-1段的预设值; NSi, m对应第i个手指第m段的预设值. NSi, m-1和NSi, m根据实际情况预设,不需被均分.
图5为滞环分段原理图.其中, m和m-1是相邻的两个分段.均匀分段时, NSi, m-1=(m-1)/M; 非均匀分段时, NSi, m-1是设定的非均匀值.在单点分段切换时,以NSi, m-1作为相邻的m和m-1的分段临界值. 当Ni, x≥NSi, m-1时, Si, x=m; 当Ni, x< NSi, m-1时, Si, x=m-1. 单点分段容易出现振荡,即当归一化数值在分段点NSi, m-1附近跳动时,分段会在m和m-1段间跳变.
滞环分段克服了单点分段在分段点附近产生振荡的缺点.在分段点NSi, m-1两侧附近,增加两个临界值L_NSi, m-1和U_NSi, m-1, 分别作为分段滞环的下限和上限,则滞环分段可表示为
Si, x=
{m-1, L_Si, x=m,Ni, x>L_NSi, m-1
L_Si, x, L_NSi, m-1≤Ni, x≤U_NSi, m-1
m, L_Si, x=m-1,Ni, x>U_NSi, m-1(5)
其中, L_Si, x是上一采样周期的分段值.
软件手感知实验平台如图6.光学弯曲传感器内嵌于软体手指中,集成到手掌结构上构成5指软体手.下位机是软体手的驱动控制系统,以STM32F407作为CPU,接收上位机的动作指令,执行命令解析,通过数模转换器(digital to analog converter, DAC)模块,输出模拟电压控制比例阀,实现气压控制使软体手执行动作.上位机的控制界面控制软体手的动作和抓取姿态,采集弯曲传感器信息,执行识别算法,实现姿态和物体大小识别.
归一化和分段处理的数据源自弯曲传感器的采集电压,初始状态和最大弯曲状态下的电压是重要的比较参数.因此,在检测前需对V0和Vmax标定.将软体手控制在初始(伸直)状态和最大弯曲状态,用数据采集卡采集5个手指的电压(V), 每个手指同步采集200组数据,每组数据0.08 s,共用时16 s,再取其均值(mean)作为标定值,结果如图7.其中, σ为均方误差.
为验证弯曲传感器的连续运动检测能力,以及归一化和分段处理效果,以软体手的食指作为对象,输入连续的正弦运动指令控制软体手指运动,检测其弯曲变化.正弦运动的周期为10 s,幅值为最大弯曲状态的控制值,使食指在初始状态到最大状态间以正弦规律连续运动.食指连续运动的弯曲检测结果如图8.图8(a)是连续运动中的实际电压,按照正弦规律变化,可见在手指的正常工作范围内,可检测反映手指弯曲变化的电压值.图8(b)为归一化后的变化曲线,覆盖了所有的变化范围,表明光导纤维能够检测到软体手指从初始状态到最大弯曲状态内的任意状态.图8(c)的分段处理结果说明,结合均匀分段法,以0.25、0.50和0.75为节点将归一化数据均匀的分成4段,食指的连续运动可以通过分段状态识别出所处的位置.
控制软体手实现图9的8 种动作姿态.在对软体手进行姿态识别前,根据8种姿态特征,建立基于均匀分段的姿态预设库(表1).分段方法同样是以0.25、0.50和0.75为节点将归一化数据均匀的分成4段.
姿态识别算法流程见附加材料图S1(请扫描论文末页右下角二维码).程序开始运行后,先采集弯曲传感器的电压; 然后,通过式(1)进行归一化处理,再通过式(2)进行分段处理; 最后,依据表1的姿态预设库进行姿态比对和识别.
图 10是软体手姿态1的识别结果.其中,图 10(a)为5根手指的归一化数值; 图 10(b)为不同手指的分段结果,分段方法同样从0.25、0.50和0.75将归一化数据均匀地分成4段.从图 10可见,对应拇指、食指、中指、无名指和小指的识别结果为4、1、4、4和 4,与预设姿态库中的手势1匹配.限于版面,其余的姿态识别结果见附加材料图S2(扫描论文末页右下角二维码).从附加材料图S2(a)至(h)可见,8种动作姿态的识别结果与姿态库皆匹配.
实验结果表明,利用光学弯曲传感器,结合归一化和分段处理算法以及姿态库,可实现对软体手多种姿态的准确识别.
为验证软体手识别物体大小的能力,在图 11中,通过软体手抓取直径d=50、 40和30 mm的圆柱体.抓握过程中,食指、中指、无名指和小指同时握住物体.采集软体手指的弯曲信息经归一化处理后,结合非均匀和滞环分段,识别被抓物体的大小.
实验采集100组数据,每组数据采集0.08 s,识别结果如图 12.图 12(a)中的上排是软体手抓取3种不同尺寸物体的采集数据.图 12(a)的下排说明通过归一化处理,抓取所用到的食指、中指、无名指和小指的数据趋势一致,即4指中任一指均能区分出不同尺寸的物体,且结果一致.因此,本研究在实验中选用中指的数据识别物体大小.图 12(b)对中指归一化数据分别求取不同尺寸下的平均值、最大值和最小值.图 12(c)是利用不同尺寸的平均值作为非均匀分段的临界值得到的中指识别结果,分段临界值分别选择0.622 17、0.671 94和0.776 42.识别结果显示,d=50 mm的识别结果在分段1和2间振荡; d=40 mm的识别结果在分段2和3间振荡; d=30 mm的识别结果在分段3和4间振荡.统计100组数据,d=50 mm的识别结果在分段1为45,分段2为55; d=40 mm的识别结果在分段2为58,分段3为42; d=30 mm的识别结果在分段3为51,分段4为49.
因此,通过单临界值的非均匀分段对物体大小的识别正确率分别为45%、58%和51%,依次对应d=50、 40和30 mm的圆柱体.在非均匀滞环分段方法中,利用不同尺寸大小的最小值作为非均匀滞环分段的下限(L_NSi, m-1), 利用最大值作为非均匀滞环分段的上限(U_NSi, m-1). 第1个分段滞环的上下限分别为0.640 34和0.503 07,第2个分段滞环的上下限分别为0.704 58和0.649 08,第3个分段滞环的上下限分别为0.800 33和0.752 37.图 12(d)是利用滞环分段法得到的识别结果:d=50 mm的识别结果恒为分段1; d=40 mm的识别结果恒为分段2; d=30 mm的识别结果恒为分段3.可见,利用非均匀滞环分段对3种尺寸的圆柱体进行
识别,可避免振荡现象出现.因此,结合滞环方法,可提高对物体大小的识别正确率.
本研究以LED、光导纤维和光敏传感器制成光学弯曲传感器.通过对光导纤维进行间隙性的粗糙化处理,使传感器在弯曲时引起光线溢出、损耗光能.通过检测光敏传感器的输出电压得到弯曲度.将光学弯曲传感器内嵌于软体手指中,并集成5指软体手,综合利用其弯曲信息,通过归一化处理,统一不同手指的衡量标准,结合均匀、非均匀和滞环分段,实现软体手指的连续运动检测、动作姿态和物体大小识别.结果表明,基于光导纤维的光学弯曲传感器的可行性和有效性,并且因其自身的柔性,适合与软体机器人结合实现柔性的信息感知.但是,这种光学弯曲传感器还存在需深入探讨的问题:如何使得多个传感器间的特性一致(这要求U形弯曲尺寸、粗糙化处理、LED光强和光敏传感器都保证一致); 如何利用多指间的弯曲比例,进行物体形状识别; 如何结合软体手指的气压信息,提高识别能力和识别准确度.
深圳大学学报理工版
JOURNAL OF SHENZHEN UNIVERSITY SCIENCE AND ENGINEERING
(1984年创刊 双月刊)
主 管 深圳大学
主 办 深圳大学
编辑出版 深圳大学学报理工版编辑部
主 编 李清泉
国内发行 深圳市邮电局
国外发行 中国国际图书贸易集团有限公司(北京399信箱)
地 址 北京东黄城根北街16号
邮 编 100717
电 话 0755-26732266
0755-26538306
Email journal@szu.edu.cn
标准刊号 ISSN 1000-2618
CN 44-1401/N