基于海思3403平台开发4目360°全景拼接相机方案

此文主要介绍基于海思3403平台通过实时视频采集&拼接&融合&显示实现实时全景空间漫游体验，该模组将4路视频拼接成一幅360°全景图，涉及到计算机视觉、计算机图形学、数字视频处理以及一些数学工具等技术。

基本开发步骤主要包括以下几个方面：4路视频的同步采集、摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接融合，以及亮度与颜色的均衡处理。

由于制造、安装、工艺等原因，镜头存在着各种畸变。为了提高摄像机拼接的精度，在进行图像拼接的时候考虑了成像的畸变。

一般畸变分为内部畸变和外部畸变，内部畸变是以摄像机模组本身的构造为起因的畸变，外部畸变为投影方式的几何因素起因的畸变。

镜头畸变属于内部畸变，由镜头产生的畸变是由于镜头的径向曲率不同、还有透镜组的光学中心不共线，等因素造成的。一般认为，光学系统成像过程当中，镜头畸变是导致图像畸变的主要因素。因此，开发过程中采取了相对应的措施处理畸变问题。

因为相机模组和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗交替，这样给观察造成极大的不便。亮度与颜色均衡处理，通常的处理方式是通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。