柔性电子皮肤与触觉传感器技术与行业介绍

来源：https://zhuanlan.zhihu.com/p/666618922

作者：任赜宇

随着近期基于数据驱动的强化学习方法在通用抓取操作中的兴起，对于高效、精确与多维度的在抓取过程中收集各类触觉信息数据的需求也越发强烈。本文将从人体皮肤的机理出发，给大家梳理一下柔性电子皮肤与触觉传感器在当下的各类技术方案、发展趋势与未来挑战，因为是一个全新的前沿行业的关系，如果有信息纰漏之处，欢迎在评论区批评指正。

首先明确一下柔性电子皮肤与触觉传感器的概念大小关系，我们一般谈的柔性电子皮肤是一个更大且更未来的概念，即兼备柔性+触觉反馈+仿生的特性，而现阶段大多数在末端夹爪与灵巧手上使用的均为触觉传感器，即仅仅具备触觉反馈的功能特性，并不具备物理柔性与仿生特性，因此柔性电子皮肤一定是一款触觉传感器，而绝大多数触觉传感器都不能称作为柔性电子皮肤。

人类皮肤的触觉与柔性

在谈柔性电子皮肤与触觉传感器技术之前，我们先来了解人类皮肤的触觉能力与相应机理，也能与后文的各类触觉传感器有上一个性能的比对，感叹造物主之神奇。

首先从神经学的角度来看，人的触觉主要是通过分布在皮肤不同深度的4种触觉感受器实现的：

1. 默克尔细胞：表皮基底细胞之间的指状突起物，慢响应0.4-3Hz低频范围内的空间变形，如持续的压力、曲面、边缘甚至尖角等外界刺激，空间分辨率可达0.5mm；
2. 迈斯纳小体：位于表层皮肤中，快速响应3-40Hz中低频动态范围的外界刺激，实现低频振动、运动检测与握力控制，空间分辨率可达3-4mm；
3. 环层小体：位于皮肤深层，快速响应40-500Hz中高频动态范围的外界刺激，实现高频振动和工具使用等感觉功能，空间分辨率达7mm；
4. 鲁菲尼小体：长梭形位于真皮内，快速响应100-500Hz的高频动态范围下持续的压力、横向皮肤拉伸和皮肤滑动等外界刺激，实现切向力感知的重要功能，空间分辨率达10mm；

整体来看，默克尔细胞、迈斯纳小体、环层小体与鲁菲尼小体这4类皮肤内的触觉感受器，分布位置是由浅至深(从表皮至真皮)，整体测量的频率由低至高(0.4Hz至500Hz)，而空间分辨率则呈现反向趋势由高至低(由0.5mm至10mm)，这边鲁菲尼小体很重要，其实现了一个重要的切向力感知功能。

通过大量的生物医学测试，对于男性和女性手掌与指尖力感知灵敏度(法向压力检测的阈值)可见下表，一个有趣的事实是：女性的手掌及指尖的外力感知灵敏度明显优于男性。

	手掌法向压力阈值	指尖法向压力阈值
男性	0.158g	0.055g
女性	0.032g	0.019g

从上表来看，就说最糙的男性手掌法向压力阈值0.158g，即相当于0.00155N，这个灵敏度数值相比于现在市面上的触觉传感器性能，还是有不小的领先，就更别提更加敏感的指尖灵敏度。

最后人体皮肤还有个非常出色的性能就是其拉伸率，根据生物学的一篇研究，人体最富弹性的皮肤位于手腕部位，此处皮肤能够在手腕弯曲时承受20.4%的拉伸率，且是三维全向的柔性。先抛开人体皮肤的感知能力不谈，这类全向高拉伸率的材料在我们设计人形机器人的手腕或脚踝(并联耦合关节)的柔性包裹时，目前还没有非常合适的材料选择方案。如下图所示，可以看到绝大多数机器人的手腕或脚踝都采用的是完全刚性包裹或者是直接外露：

当前国内市面上，仿生柔性皮肤这块在人形机器人上的应用，做的最好的应该是大连帝艾斯-EX仿生人形机器人，作者也尝试过去做一些类似人体皮肤的柔性包裹设计，但实际效果不是很好(有明显褶皱及凹陷)，感觉这里的门道还是比较多的，做传统多刚体机器人出身的会有“隔行如隔山”的感叹。

各类触觉传感器方案介绍

据作者的不完全统计，当前市面上常见的触觉传感器方案，按照原理可以分为：压阻式、电容式、光电式、电磁式与视触觉式。

压阻式

压阻式的触觉传感器可以说是当前成熟度最高与应用面最广的方案，本质原理是基于单晶硅材料在受到外力挤压时，相应的电阻率发生变化，其测量的数据流变化逻辑为：压力改变-电阻值改变-电压改变-根据标定读取压力值。

这边需要区分一个很相近的概念：关于压阻式(Piezoresistive)与应变片式(Strain Gauge)的异同。实际上压阻式和应变片式在数据流变化逻辑上是很相似的，受外力后体现的都是电阻值的改变，其核心区别为：压阻式的敏感受力元件是半导体(单晶硅)，在受到外力后，是其载流子迁移率变化引起的电阻率变化；而应变片式的敏感受力元件则是一个单纯的电阻，其电阻率的变化是由于机械形变而起。应变片式比压阻式的应用还要广泛而普遍，我们大学所学的惠斯通电桥就是用来测量应变式的电阻变化，我们常见的六维力传感器与单维力传感器大多也都是基于应变式的原理。

回到压阻式的触觉传感器，在针对柔性电子皮肤的应用上，优缺点如下：

• 优点：能够借助相应MEMS技术实际较为密集的排布，达到良好的空间分辨率，体积小，集成度高，成本低；
• 缺点：传统单晶硅的材质缺乏柔性，无法做到大面积柔性贴附，无法直接对切向力有精准的测量；

针对传统附着于刚性PCB板的压阻式传感器缺乏柔性的痛点，近年来兴起了薄膜压力传感器(Thin-Film Pressure Sensor)的方案，能够做到较好的柔性(可见下图)，这类柔性薄膜压力传感器在很多智能运动设备上都已经有了效果很好的应用，比如说记录顶级运动员运动习惯的智能感知鞋垫等。

整体来看，压阻式的触觉传感器在眼下产品落地这个维度上是相对最经济可靠的，但整体的一个性能缺陷还是在于测量触觉(力)的信息维度不够丰富：即相对后面几种方案来看，灵敏度不够灵敏(一般有效阈值在10g左右)，几乎无法直接对除了垂直法向的力进行测量，很难表征外力(矢量)方向。

电容式

电容式(capacitive)的触觉传感器是基于有机场效应晶体管(OFETs)的微传感器，使用OFET的核心优势在：除去电极之外，理论上所有部件都可以由柔性材料所制成(最小折弯半径可以达1mm)。在施加外力时，填充电介质的空间距离会发生变化，造成相应电容值的改变( �=���4��� )，相应测量的数据流变化逻辑为：压力改变-板间距离改变-电容值改变-电压改变-根据标定读取压力值。

实际上即使在不施加外力的情况下，在较短的距离内有较大物体接近也会影响板间外溢的电介质分布，从而带来电容值的改变，因此相较于压阻式原理而言，电容式触觉传感器可以用作为接近传感器。这类电容式的接近传感器，目前已经在各类汽车产品中得到广泛使用，比如说感应是否有乘坐的车辆座椅以及后备箱抬脚感应等。

回到电容式的触觉传感器上，在针对柔性电子皮肤的应用上，优缺点如下：

• 优点：具备较好的柔性，对力感知灵敏度高(一般有效阈值能达1g)，能够衍生为接近传感器的应用；
• 缺点：抗干扰能力差(EMC差)，较难对切向力进行直接的定量精准测量；

这边解释一下缺点：1. 实际上能作为接近传感器是一把双刃剑，能感知到外界物体的接近也同时意味着其EMC能力差，举个很直观的例子：加装电容式触觉传感器的夹持器在抓握手机的过程中，就极易被手机的各类信号所影响，造成所测量示数的波动与噪声，影响测量的灵敏度，可能在一些尺寸空间较大的场合，会使用一些有源屏蔽装置，但考虑在灵巧手指尖或者大面积皮肤上进行集成，则会是一个难点；2. 和压阻式一样，切向力的测量较为困难(并不是说完全不能测)，需要基于大量的测试标定数据做与法向压力的解耦，读上来的数据表征切向及各方向力不够直观；

电容式触觉传感器在实际人形机器人或者灵巧手上的应用，目前看到越来越多的尝试，给大家展示两个非常有代表性的案例，即iit的iCub与Softbank的Nao：

光电式

光电式(photoelectric)触觉传感器是基于光强原理的微型传感器，在该触觉传感器的内腔中，通过MEMS技术集成光源和光强传感器，光源集成在柔性皮肤内壁，当柔性皮肤受到外界挤压时，光源和光强传感器之间的距离发生变化，该距离将通过光强数值的变化表征出来，相应测量的数据流变化逻辑为：压力改变-光源和光强传感器的距离改变-光强值发生改变-根据标定读取压力值。光电式触觉传感器的优劣点为：

• 优点：力感知灵敏度较高(一般有效阈值能达0.5-1g)，有一定抗干扰能力，有一定的切向力表征能力；
• 缺点：在保证高测量灵敏度与宽量程情况下，体积紧凑化较难实现，较难对切向力进行直接的定量测量；

在光电式触觉传感器这里，有一家澳大利亚的创业公司(Contactile)已经做出很出色的样品，基于光电式的原理已经能够定性观测出3D的力与力矩，包括一些基础滑移和摩擦力的定性观测(相关DEMO如下)，整体展示的效果还是挺impressive的，但可能在微型集成化上还有进一步的提升空间；

00:58

电磁式

电磁式(Electromagnet)触觉传感器是基于电磁强度原理的微型传感器，整体测量的原理和光电式非常相似，只是把测量变量由光强变为电磁强度，通过MEMS技术集成永磁体于柔性皮肤内壁，同时集成磁传感器芯片，当柔性皮肤受到外界挤压时，永磁体与磁传感器之间的距离发生变化，该距离将通过磁场强度的数值变化表征出来，相应测量的数据流变化逻辑为：压力改变-永磁铁和磁传感器的距离改变-磁场强度发生改变-根据标定读取压力值。电磁式触觉传感器的优劣点为：

• 优点：力感知灵敏度较高(一般有效阈值能达1g)，成本低廉，有一定的切向力表征能力；
• 缺点：抗外界干扰能力差(与电容式一样的缺点)，集成度较低，较难对切向力进行直接的定量精准测量；

电磁式(Electromagnet)触觉传感器的代表性厂商为日本XELA Robotics的Uskin，Uskin有一项专利技术就是针对外界的磁干扰做了磁干扰补偿的前处理，在与灵巧手的集成上是与韩国的Allegro Hand进行合作(相关DEMO如下)，可以看到集成度还是较低(Allegro Hand本身尺寸较大，电气线束也大量外露)，同时也无法对切向力进行直接的定量精准测量；

01:53

视触觉式

视触觉式触觉传感器(即Vision-based Tactile Sensor – 简称VBTS)，是近几年来触觉传感器的发展前沿和重点，几乎在所有机器人顶会和顶刊上关于触觉感知、传感器设计、抓取操作与灵巧手设计相关的领域中，都会看到VBTS的身影。视触觉传感器的本质是利用微型双目相机的视觉成像技术+深度学习的数据处理方法，去增加触觉信息的测量维度，即在接触力的位置、分布与方向上均进行感知测量，相比于上文提及的压阻、电容、光电与电磁式的触觉感知原理，会有一个更加直观清晰、独立解耦的图像输入，再通过基于强化学习的标定训练，去建立触觉信息与图像信息的映射关系，以达到更高维度的触觉测量。基于VBTS的触觉传感器理论上能够测量各种方向及不同分布位置的力信息，在切向摩擦力与滑移等特性上的测量上限也更高。

参考上图，就是一个相对完整的VBTS触觉传感器的标定-测量-训练的流程：

标定：首先在标定环节，我们一般需要搭建一个至少具备5轴运动的设备台，这5轴包括X-Y-Z向的平移、绕Z轴与绕X轴(或Y轴)的旋转，其中Z向为竖直向下的法向；接着在与VBTS接触的探针之间，我们一般需要集成高精度的六维力传感器，作为整体标定过程中接触力大小数值的真值；接着我们需要设计相应的运动控制器去控制5轴运动台，在各个我们需要的方向与VBTS进行接触，这里接触力的方向是我们的控制器下发的，在运动台高传动精度的情况下，接触力方向的真值也可拿到；最后一般我们通过Labview去做一个三方数据的接收通信，即通过高精度力传感器读到的接触力大小真值、通过运动控制器下发的接触力方向真值与VBTS反馈的图像数据(raw-data)，等待后续的训练处理；

测量：在具体的测量原理中，由上图可以清楚可见：外界接触力会使得传感器的柔性外壳(elastic body)发生形变，从而带动柔性外壳内部所集成的的网格图案(grid pattern)发生形状与分布变化，再通过MEMS技术集成的微型双目相机(Stereo camera)记录相应的网格图案的图像和深度的变化，整体测量的数据流变化逻辑为：外力改变-柔性壳体发生形变-网格图案发生改变-根据标定读取外力大小与方向；

训练：基于强化学习的针对VBTS的接触力的训练算法一般可以分为6个步骤，即Step1-图像输入(双目拍摄的左右两张图片) → Step2-切割RoI(设置切割图像处理的Region of Interest以提高训练效率)) →Step3-数据预处理(进一步处理图像数据以更好融合接触力的大小、位置与角度数据) → Step4-模式选择(可选择双目相机所拍摄的左图或右图或者融合图片作为神经网络的输入)→Step5-回归训练(使用诸如典型的VGG16模型进行训练)→Step6-归一输出；

针对现技术阶段的视触觉传感器，其相应的优劣势如下：

• 优点：性能上限高，表征接触力方向与分布的图像信息更加直观，具备切向与滑移等复杂触觉力的感知上限；
• 缺点：标定训练门槛高，成本高，体积小型化困难(双目相机一般需要有一定的排布间距-如10mm)；

实际上当前针对VBTS的缺点，学术界也做了很多优化工作，一方面是通过各类更加高效的训练学习模型去提升VBTS的训练效果，尽可能降低其使用门槛；另一方面针对双目相机排布间距的问题，也有流派通过特殊光路及镜面的设计，使得单目相机也能具备左右成像的性能，尽可能紧凑化相应的触觉传感器单元，关于VBTS在传感器设计上的更多流派和进展，大家可以参考这篇Review。

总结

压阻式、电容式、光电式与电磁式的触觉传感器已经在诸多场合有了较好的落地应用，从性能上限来看，电容式与电磁式相对来说较高，会有一定的测量接触力方向的能力，但两者的缺点都在于小型化后抗外界扰动性能较差，压阻式由于其成本与可靠性的优势最适合用于短期的产品落地。这4类触觉传感器都存在反馈的数据量较为单一的问题，会牵涉较多力的方向与大小的数据解耦合难题，难以精确独立表征力的大小与方向，基本无法直接定量测量切向力与滑移。

视触觉式(VBTS)的触觉传感器则是通过将触觉信息转化为维度更丰富的图像信息，辅之强化学习的方法，拉高触觉力的大小方向、分布位置的测量性能上限，但在当前技术条件下，也存在标定门槛高、体积难以小型化与成本高等工程落地上的挑战。

从未来的发展趋势看，一方面触觉传感器的性能要瞄着更高感知维度的方向走，这里不仅是本文提到的切向力与滑移，还需包括温度、湿度与材质等更丰富信息的感知；另一方面则是更高的柔性与拉伸率的基底新材料研发，刚性传感元器件的MEMS技术还需进一步提升，进一步微型化测量单元，以提高整体有限元网格的划分密度，进一步增加材料的柔性曲率与拉伸率，以对标人体皮肤大面积柔性包覆与感知的仿生效果。

参考文献
1. Kakani, Vijay, et al. “Vision-based tactile sensor mechanism for the estimation of contact position and force distribution using deep learning.”Sensors21.5 (2021): 1920.
2. Del Prete, Andrea. “Control of contact forces using whole-body force and tactile sensors: Theory and implementation on the icub humanoid robot.”Istituto Italiano di Tecnologia (2013).