模块设计：自由曲面眼镜显示器光学系统优化方案

1.微光探测模块

(1)微光探测器。

微光探测器采用昆山锐芯微电子有限公司研发的P2021低照度CMOS摄像模组,如图9.10所示,其各项技术指标如下。

①靶面尺寸:1/2英寸(对角线8mm)。

②分辨率:752 H×582 V。

③像素尺寸:8.60μm(H)×8.30μm(V)。

④帧率:50 fps。

⑤动态范围:69 dB。

⑥体积:33mm×33mm×28.25mm。

⑦同步模式:内同步。

⑧工作温度:-40～65℃。

⑨存储温度:-45～70℃。

⑩功耗:＜850mW(包含OLED显示器,典型工作状态)。

图9.10　微光探测器

(2)光学镜头。

为了满足视场角的需要及重量要求,现选用ZC06IR.MTV型号的镜头,如图9.11所示,具体参数如下。

①焦距:6mm。

②最大孔径比:1∶1.2。

③图像格式覆盖:1/3"。

④视场角(D×H×V):44.5°。

⑤后截距:7.23mm。

⑥机械尺寸(D×H×L):∅22×26.8。

⑦总重量:13 g。

⑧温度应用范围:-10～50℃。

图9.11　光学镜头

2.OLED显示模块

该产品设计的800×600像素大视场自由曲面眼镜显示器光学系统由图像源、中继透镜组和半反射半透射组合器组成。其中,中继透镜组采用光学反射投影原理进行设计,并利用高斯径向基函数表征光学自由曲面。

(1)光学反射投影原理。

平视显示器的前身是使用在战斗机上的光学瞄准器,这种瞄准器利用光学反射原理,将环状的瞄准圈光网投射在装置在座舱前端的一片玻璃或者是座舱罩上面,投射的影像对于肉眼的焦距是定在无限远的距离上面。光学反射投影原理如图9.12所示。

图9.12　光学反射投影原理

本产品利用光学反射投影原理,OLED将光投到一块反射屏上,而后通过一块自由曲面折射到人的眼球,实现所谓的“一级放大”,在人眼前形成一个足够大的虚拟屏幕,从而显示无线接收模块接收的图像信息。

(2)自由曲面设计。

该产品的OLED显示模块采用自由曲面的光学设计,具有非对称面形的、灵活的空间布局、丰富的设计自由度等特性,可满足现代光学系统高品质的光学特性参数、优良的成像或照明质量、小型化、轻量化等要求。其优势主要体现在如下4个方面:

①提供更多的设计自由度,为光学设计注入新的生命力;

②突破传统光学系统理念,创造全新的结构形式;

③减少光学元件数量,减轻系统重量,减小系统体积;

④提升光学系统技术参数,提高系统性能。

自由曲面成像系统设计主要包括自由曲面的建模和描述方法、像差分析理论等。在优化方法方面最常用的还是最小二乘法、自适应法;现在针对自由曲面还有偏微分方程方法、多曲面同步设计方法等,后者主要用于照明系统。除加工、检测困难、生产成本高、效率低等因素外,设计难度大是制约自由曲面在成像系统中广泛应用的一个主要原因,具体体现为如下:

①曲面描述方法不完善,光学特性参数和像差计算方法不准确;

②可供借鉴的初始结构实例很少;

③光线追迹、像质分析和优化收敛速度慢,像质平衡困难;

④边界条件控制的复杂程度大大增加。

自由曲面描述方法应具有以下6个特点:

①能够表征复杂的面形,具有优良的像差校正能力;

②具有通过改变其结构系数调节整体或局部面形的能力;

③有利于实现与其他描述方法曲面的平滑过渡和转换;

④能够为光学设计提供足够的自由度和改进空间;

⑤具有较快的光线追迹和优化收敛速度,提升设计效率;

⑥具备一定的公差分析能力。

利用自由曲面进行的光学系统设计,需考虑物理边界条件、全反射控制条件、成像性能和像差的要求、出瞳距离和有效出瞳距离控制要求、光学曲面的曲率半径约束条件等因素。经过方案对比与调研,我们最终决定应用高斯径向基函数表征光学自由曲面。

径向基函数指某种沿径向对称的标量函数,通常定义为空间中任一点x到一中心Ci之间欧氏距离的单调函数,其典型的函数表达式为

式中:x和Ci为模式向量;{Ci}Ni=1⊂RT为基函数中心;ωi为权系数;,…,N}为N个任意的函数的集合,即所谓选定的基函数;‖‖为欧式范数。

在某些情况下,能通过在式(9.1)中加入多项式,使其得到增强。使用径向函数,将光学表面Z表示为

径向基函数可以选取多种形式,如薄板样条函数、高斯函数、多元二次函数及逆多元二次函数等。高斯函数具备如下优点:①表示形式简单,即使对于多变量输入也不增加太多的复杂性;②径向对称;③光滑性好,任意阶导数均存在;④由于该基函数表示简单且解析性好,因而便于进行理论分析。因此,本文使用高斯函数作为径向基函数进行显示器光学系统的设计。设有N个输入样本Ci,在输出空间的相应目标为dN,则有方程组为

式(9.3)可改写为

其中

令

令φ表示元素为φji的N×N阶矩阵,即

因此,(9.4)式可改写为

用于表示自由曲面组合器的径向基函数网络具有三层网络结构,如图9.13所示。μ是从输入层到隐层的权重矢量,σ是隐层内激活函数的归一化参数,W代表从隐层到输出层的权重矢量。第一层内的输入节点是沿着自由曲面组合器取的位置坐标(x,y),第二层内的基函数对输入存在局部响应,将输入空间映射到一个新的空间,第三层内的输出节点则在该新的空间实现线性加权组合。第i个隐层节点φi为高斯核函数,其表达式为

式中:x为输入矢量;μi为输入权重矢量,也就是高斯核函数中心;为归一化参数;0≤φi≤1。

图9.13　三层径向基函数网络示意图

根据图9.13,该网络结构能够用矩阵形式表达为

式中:φ为N×N矩阵;W为权重矢量;Z是相应的自由曲面。

(3)光学系统软件仿真。

应用上述高斯径向基函数表征组合器的面形,设计一个HMDs光学系统。以泽尼克多项式表征组合器面形的眼镜显示器光学系统作为优化设计的初始结构。在这里,尝试一种选取径向基函数面形优化起始点的方法。泽尼克多项式表征其表达式为

式中:c为曲率(半径所对应的);r为以透镜长度单位为单位的径向坐标;k为圆锥常数;Ai是第i个泽尼克多项式系数。在中继透镜组中,第二个双凸透镜且靠近光楔的那个表面为衍射面,该非对称二元衍射光学面的相位表达式为

式中:k为衍射级次;Ai是第i个多项式系数。

根据给定的i值,可以根据下式求得j和n的值,计算公式为

第一步:将泽尼克多项式的前25项系数从Code V中抽取出来,在组合器口径内选取若干个(x,y)点,通过MATLAB拟合得到其面型,如图9.14(a)所示。第二步:确定高斯函数,即确定式(9.9)中的输入权重矢量μi和归一化参数;组合器的面型由8×8个等间隔分布的二维高斯径向基函数表征,如图9.14(b)所示。第三步:让高斯径向基函数无限逼近于上面确定的泽尼克多项式,通过最小二乘法求解径向基函数的前64项系数,如图9.14(c)所示。第四步:利用CODEV所支持的C语言进行计算和程序编写,在Visual C++下进行编译。使用CODEV的链接路径将程序链接成动态链接库文(DLL),产生于CODEV应用程序所在目录的CVUSER子目录下。第五步:在CODEV中利用求解出的前64项系数和编写的径向基函数优化该HMDs光学系统。双目穿透显示模块如图9.15所示,双目沉浸显示模块如图9.16所示。

图9.14　建模过程

(a)由泽尼克多项式表征的组合器面形;(b)8×8个等间隔分布的二维高斯径向基函数;(c)由高斯径向基函数表征的组合器面形

图9.15　双目穿透显示模块

图9.16　双目沉浸显示模块

设计完成的显示模块性能参数如下。

①视场分辨率:800×600。(www.xing528.com)

②亮度控制范围:200～8 000 cd/m2。

③工作电压:5 V±5%。

④功耗:＜0.8W。

⑤工作温度:-40～+65℃。

⑥存储温度:-55～+70℃。

(4)防破片镜片设计。

本设计选用北京日月恒贸易有限公司军品镜片,有关风镜防尘、防雾、防破片的相关技术指标与说明如下。

1)破片的防护。

利用PC材料本身的特性做出的镜片,PC材料成本比新材料低很多,工艺简单、成熟,使用普遍。重量相对现在的新材料略重一点点,对镜片这种不大的部件来说,是可以承受的。

现在采用的是2.4mm厚的镜片,经过第三方权威测试,性能可以达到200m/s。

2)防尘。

防尘是通过眼镜的镜框结构设计来实现的,一般考虑要保证一定的通风透气功能和防沙尘功能,防沙尘需要密封性好,而防雾需要一定的通风透气,特别是在热带或者潮湿或者高寒无风地区,通气性更为重要。由于防沙尘和通风性能有一定的矛盾,这就要看使用地区和使用目的,看防护的侧重点。

防尘性能,国家有检测,需要根据要求的数值进行测试。必要时,进行调整。实践中,目前部队对我们的产品防尘性能没有提出过类似沙尘迷眼等不良反应。如果需要进一步提高这个性能,可以通过调整设计,来适应要求。通风防尘性能和防雾以及舒适性都有一定的关联,需要给出极端情况下的具体要求来考虑调整。

3)防雾。

防雾功能是通过眼镜镜片内侧镀的防雾膜和镜框上的通气孔来实现的,以防雾镀膜为主,通气为辅。防雾镀膜有两种,一种是双层镜片,镀膜做在单独的一块透明塑料板上,再利用EVA密封条和外侧发挥抗冲击功能的PC镜片粘合在一起;另一种是单层镜片,防雾镀膜直接做在PC镜片的内侧。两者的区别是前者防雾持久,数年不衰,效果迅速、明显,外层镜片抗刮花能力较好,但重量有些重;后者是重量比较轻,镜片可以高清处理,透光率比较高,双层片一般透光率最高是84%,双层片做分辨率的测试意义不大,但单层片透光率可以到90%,同时分辨率按照ANSI/ISEAZ87.1-2015要求,达到PATTERN 20以上。但防雾效果,与双层镜片相比,可能会略感响应速度慢一点点。在一般频率使用的情况下,保证两年没有问题,第三年有衰减的可能(与使用环境和清洗频率有关),外层抗刮花性能也不如双层镜片,原因是防雾处理液和抗刮花处理液有一定的冲突,工艺上有一定的难度。防护镜实物如图9.17所示。

图9.17　防护镜实物图

(a)防护风镜(黑色镜片);(b)防护风镜(白色镜片)

3.视频信号处理模块

(1)通道控制模块。

通道选择功能图像处理模块具有切换视频通道功能,通过外部按键可以让OLED显示模块显示微光探测器的视频、Wi-Fi通信模块接收到的视频,或者仅显示GPS和环境信息,以满足不同环境条件下的观测需求。

(2)图像处理模块。

本项目对微光图像的处理主要包括目标识别模块以及微光图像降噪和增强模块。

1)目标识别模块。

在三维空间中,观测目标的形状会随着相机视角和位置的不同而发生变化,这种变化通常可以通过射影变换进行描述。一般情况下,当视线中目标深度和目标距离相比非常小时,三维空间中的射影变换可以近似等效为二维平面上的仿射变换。此时,三维目标形状的变化可以近似看作其在二维平面上投影的变化。

为了在目标表示和识别之间取得满意结果,应尽可能选取符合要求的目标特征及其描述方式。通常根据实际应用选取合适的目标特征及其特征描述方式。有直接在空域进行特征描述的,如几何矩、形状上下文和直方图等;有在变换域进行特征描述的,如傅里叶描述子和小波描述子等。从形状描述的角度出发,上述特征描述方式可以分为两类基于轮廓的描述和基于区域的描述。前者仅利用目标边界上的点获得特征描述方式,而后者则利用目标内部的所有点建立特征描述方式。与目标内部区域相比,轮廓在描述目标特征时具有简便、直观的优点,十分符合人类的视觉认知习惯。

所提出的轮廓特征描述框架如图9.18所示。从图中可以看出,目标轮廓特征可以分为全局特征、局部特征和结构特征3个层次,分别对应不同的特征描述方式:目标轮廓、轮廓分段和结构单元。

图9.18　轮廓特征描述框架

这种分类方式从“整体与部分”的角度讨论了整体目标与局部特征之间的关系,并且从3个方面进一步分析了不同类型的特征及其描述方式对目标识别算法的影响。可信度反映了当前轮廓特征及其描述方式所包含的结构信息,计算复杂度反映了在“构造特征描述方式”和“相似配时”的实现代价,适用范围体现了特征描述方式的稳定性和适应性。

2)图像增强和降噪模块。

低照度图像中有用的图像信息和噪声混合在一起,主要包括暗电流噪声、脉冲噪声、高斯噪声、泊松噪声等,这些噪声使得图像的特征不明显,清晰度不高,难于辨别,因此需要对图像进行降噪处理以提高信噪比。在时域和空域进行降噪处理方法如下。

a.时域滤波降噪。

时域滤波降噪采用快速傅里叶变换将被噪声污染的图像信号变换到频率域中,使噪声和有用信号分离开来,将所有噪声的频谱全部滤除,只保留有用信号的频谱。再应用傅里叶反变换对有用信号的频谱进行处理,使其再恢复到时域中,就能实现噪声的滤除。此外也可利用低通滤波、同态滤波对图像灰度范围进行调整,实现平滑降噪,改善图像质量。

b.空域滤波降噪。

空域滤波降噪采用自适应混合滤波算法,将图像分为大小相同的几个区域,对每一个区域采用一定的标准进行噪声检测,以实现图像中脉冲噪声和高斯噪声的分离,分离出的脉冲噪声和高斯噪声分别采用自适应中值滤波和均值滤波来消除。

c.时域递归去噪。

时域递归滤波主要用于降低动态图像的随机噪声,改善图像的质量,提高图像的信噪比,其数学表达式为

式中:YN为当前经第N次递归处理后的输出帧图像;XN为当前原始输入帧图像;YN-1为当前经第N-1次递归处理后的输出帧图像;K为递归滤波系数。

从信号处理的角度分析,式(9.14)实际上是一个自回归差分方程,可求得其传递函数为

式中:K是滤波系数。

Z-1表示一帧的延时,其幅频特性为

幅频特性曲线如图9.19所示,可知它实际上是一个低通滤波器。对于含有随机噪声的可见光图像,噪声相对于背景而言变化快得多,也就是背景在时间上具有低频的特性,而噪声具有高频特性,将含有随机噪声的图像序列经递归滤波之后,即使得高频的噪声被滤除。

图9.19　递归滤波低通滤波器的幅频特性曲线

然而,在对有运动目标的视频图像进行递归滤波的处理中,降噪和图像的拖影问题是一对互相制约、难以消除的矛盾。

鉴于可见光图像的分辨率为720×576的灰度图像,一般一片存储器即可存储两幅以上,所以本文采用一种片内乒乓操作的方法,只需使用一片SRAM即可完成算法,节省了外部存储资源,大大提高了利用率。模块流程如图9.20所示。

由于SRAM中的初值一般为高电平,开启去噪功能时,即默认将其初值作为Y0,这是不利于显示的,在滤波系数较大时,会使得递归开始时图像高亮,然后随着递归的进行亮度逐渐变暗,最终变为正常的递归结果,而且在更换场景重新开启去噪功能时会将上一个场景的递归结果作为Y0来进行运算,这显然是不正确的。所以为了得到较好的效果,减少递归时间,采取如下处理:进入去噪功能时,首先将最近帧图像存入SRAM作为Y0,然后开始递归去噪。

图9.20　递归滤波去噪模块流程框图

本项目中可见光图像递归去噪前后的对比图像,如图9.21所示,可以看出可见光原图噪点极大,大量信息淹没在噪声中,递归去噪后图像质量明显提高,获得更加丰富的关于场景和目标的信息,且适合人眼观察。

图9.21　可见光原图及其去噪后图像对比

(a)去噪前;(b)去噪后

(3)图像编解码模块。

图像处理模块的视频图像数据需要上传到自组网,实现系统的交互性,而原始的视频数据数据量比较大,传输起来比较麻烦,为此我们先将视频数据进行压缩,将压缩后的数据上传到自组网,同时也需要将自组网传给我们的压缩数据进行解码显示。

4.H.264图像压缩

H.264压缩的核心原理是消除图像的冗余度,对信息进行“提纯”,从而达到压缩的目的,视频图像中的冗余度分为三种:一是帧内空间的冗余度,二是心理视觉的冗余度,三是编码的冗余度。在H.264压缩编码中,前二者通过离散余弦变换(DCT)及量化等方法对其进行减少,编码冗余度可通过统计码流和码字的规律性,采用一定的算法对码流进行压缩,H.264压缩就是采用哈夫曼(Huffman)熵编码来减少编码的冗余度。

H.264压缩的具体流程如图9.22所示,该框图是针对单分量图像即灰度图像的处理,对于多分量也就是彩色图像,则首先需将图像多分量按照一定比例和顺序组成若干个最小压缩单元(Micro Compress Uint,MCU),然后按照上述流程对MCU中的按规定分割排序的每个8×8图像块进行独立的压缩编码处理,最后将各个MCU的压缩结果合并为数据流,即是最终的压缩结果,本节将对流程中各个部分进行详细的说明。

图9.22　H.264压缩的具体流程

(1)压缩前图像预处理。

图像进行压缩前需对其进行预处理,主要包括对原图像分辨率大小的调整、颜色空间转换和降采样、整理MCU单元几个处理步骤。H.264压缩的对象根据灰度和彩色的不同对应不同的处理方法,如图9.23所示。

图9.23　3种降采样的示意

(a)YCbCr 4∶2∶0;(b)YCbCr 4∶1∶1;(c)YCbCr 4∶2∶2

(2)正向离散余弦变换(FDCT)。

对每个MCU进行DCT变换之前,采样值首先需进行幅值的位移,使之变为有符号数,所涉及的数据位数为8 bit,故而幅度位移为128,即将每个MCU中每个分量块均减去128后再进行DCT变换,DCT变换的表达式为

8×8图像块经DCT变换后得到8×8的频率系数矩阵,该数组(0,0)坐标的系数称之为直流系数(DC),其他63个系数称为交流系数(AC)。直接应用式(9.17)计算,会使得计算量较为庞大,许多文献提出了该公式的优化方法,以便提高运算的效率,较为常见的是将该公式分解为两个一维的DCT变换进行运算,分解后的公式为

(3)DCT系数的量化。

DCT变换是无损变换,只要正、逆变换计算的精度足够高,则原始图像可得到精确的恢复,然而DCT变换之后,得到的频率系数是浮点数,反而增大了数据量,故而需根据其特性采取一定方法将其均匀量化为整数,同时减少大量的信息,然后继续进行H.264的编码。

量化是将变换后的DCT系数矩阵除以对应位置的量化值,即除以一张同样为8×8的量化表,并将结果四舍五入取整,其计算公式为

本次使用的是H.264标准推荐的两个量化表,如图9.24所示,分别对应亮度信号和色度信号。容易看出亮度量化表相比色度量化表数值偏小,这是根据人眼对亮度信号比对色度信号更为敏感的特性设定的。另外,两者左上角区域的数值较小,而其他部分则数值较大,这是依据人眼对图像的低频分量比高频分量更敏感的特性设定的。

图9.24　H.264标准推荐的两个量化表

(a)亮度信号量化表;(b)色度信号量化表

(4)Zig-Zag编排及DC、AC编码。

DCT变换的特性以及量化表的设定方法使得量化后的系数含有大量的零值,且以(0,0)点为发散中心,离其越远为零值的可能性越大,为了增加连续零值的个数,将8×8的矩阵进行Z字形编排,如图9.25所示,从而将其变为1个1×64的矢量。

编排之后的1×64矢量中,第1个为DC系数,后面63个均为AC系数,这两类系数的处理方式是不一样的,编码时采取不一样的方式对其分别进行编码,以达到更好的压缩效率和效果。

图9.25　Zig-Zag编排顺序

(5)Huffman编码及比特码流整理。

H.264压缩的最后一个步骤就是Huffman编码,Huffman编码是一种基于概率统计的无损压缩技术,该算法首先统计信源出现的概率,再根据统计结果,出现概率高的符号使用短即时码表示,出现概率低的用长即时码表示,以达到压缩数据的目的。

对于DC系数和AC系数第一步是一样的,将DC系数经差分脉冲编码的微分值和AC系数经游程编码后的(NUM,VAL)中的VAL值依据如表9.2所示的码表查找得到对应的位长和实际保存值,后续的步骤就各有不同。

表9.2　位长及实际保存值表

(6)H.264压缩编码的FPGA实现。

H.264压缩编码模块的总体框架如图9.26所示,主要分为奇偶拼接SRAM存储模块、MCU控制读出模块、DCT变换模块、Zig-Zag编排模块、系数量化模块、Huffman编码模块、比特码流合并整理模块。

图9.26　H.264压缩编码模块的总体框架