在数字空间的采集和重建过程中,如视会通过图像处理能力对采集捕捉的原始数据进行自动化、多样性处理。好的图像处理能力就是好的根基,直接关系到三维重建的真实性和准确度,对最终生成一个精确、完整的数字空间起到重要作用。
目前,如视已经形成了完整的图像处理能力链条,并渗透在VR采集、处理、编辑等全流程,能够全方位赋能三维重建,最终生成一个1:1复刻物理空间的数字空间。其中,如视的全域图像彩色处理、平面到三维的升维,以及深度信息自动化提取等能力达到业界领先水平并受到广泛关注。此外,如视在生成高质量数字空间的同时,还能为用户提供高自由度、高便利性的使用体验。
图像处理能力具体指什么?它如何渗透在三维重建全流程?一个优质的数字空间背后是什么在支撑着?今天,如视带大家走进图像处理的世界,一探其中奥秘。
原始数据自动化处理
RAW数据色彩处理
RAW数据素来有“数字底片”之称,它是采集设备拍摄得到的原始图像数据,因未经压缩和处理具备更好的图像质量、更高的动态范围和更丰富的色彩深度,允许用户进行更高自由度的调整处理。但严格来说,RAW数据并不是图像文件,而是一个记录了采集设备原始信息和拍摄得到的元数据的数据包,由于色域空间大且层次丰富,RAW数据在未经处理时所得到的图像会显得平淡而昏暗。只有在经过色彩处理之后,图像才能焕发出其应有的光彩。
为了给用户提供前端展示实时确认采集效果,提升整个数字空间重建过程的效率,如视对RAW数据的色彩处理,在采集阶段就已经开始。经过去坏点、去照度/彩色暗角、噪声抑制、去马赛克、白平衡、色彩校正、伽马校正、曝光融合、色调映射、去雾、锐化等一系列色彩处理环节后,用户在采集端即可欣赏到色彩丰富、色调真实的画质效果。
全景图拼接
想要生成一个真实沉浸、可供720°全景浏览的数字空间,如视需要对多张不同视角的拍摄图像进行有效整合,拼接成覆盖大范围、全视角的全景图。无需用户额外操作,如视即可通过AI辅助自动完成全景图拼接流程,轻松得到没有拼缝、色彩一致的全景图像。
同时,基于强大的全域图像彩色处理能力,如视拥有将多张RAW数据处理为前端可展示的单张全景图的能力,如视可提供基于不同场景的个性化彩色设定,如居住场景的温馨淡雅、工厂园区的清冽粗犷等。
cube图
cube图即六面图,是VR行业中的一个专业名词,指的是将球形全景图切分为六个面,这六个面就像是一个骰子的六个面,观察者即最终的用户的视点位于这个空间的中间位置。通过将前、后、左、右、上、下不同位置的图像组合起来,继而形成一个完整的空间。当用户站在这个空间中心环视四周时,就可以看到完整的全景图像,得到更具空间感的体验。
以如视旗下的专业级激光VR扫描仪伽罗华为例,该设备能够采集到1.34亿像素的超高清全景图像,其切割形成的cube图单张分辨率为4096*4096。当用户置身于由6张超高清cube图组成的全景空间中时,每个点位都代表一次完整的浏览体验。
图像中信息挖掘
深度推测
所谓深度推测,就是估计图像中场景的深度,即场景中各点像素到相机成像平面的垂直距离。通过图像深度推测,计算机能够直观理解图像中物体和场景的空间关系,获得深度图和尺度信息,并由此得到基于世界坐标系的点云信息,进而实现对物理空间的精细建模和真实还原,为用户提供更自然、更沉浸的交互体验。
如视拥有全球最大的三维空间数据库,能够持续为大模型投喂海量真值数据,使之能够精准推测出图像的深度。
图像特征提取
如视在对图像特征进行提取的过程中,通过不同图像中的相似特征匹配计算出空间及物体的相对位姿。由于特征信息能够很好地描述和区分图像,相较于直接处理整个图像,特征提取能够大大减少计算量,降低后续处理的复杂度和时间成本。而特征信息对噪声和不相关转换不敏感的特性,能够有效应对图像中噪声、光照变化、尺度变化等因素的干扰,即使在复杂环境也显得十分可靠和稳定。
常用的特征提取方法包括边缘检测、颜色分析、纹理分析、形状分析等,除了这些传统方法以外,如视还运用算法进一步提高图像特征提取的效率。
如视由平面到三维的卓越升维能力也由此而来。通过强大的数据库不断对算法能力进行训练,以此为根基,如视能够高精度推测图像深度,并从图像中提取的特征进行相似特征匹配,由此计算出不同图像的相对位姿,进而构建高质量模型。
内容识别
如视自研多项VR识别算法,基于对空间高精度的三维深度记录,以及全面且高保真的二维图像记录,建立了如视智能空间数据挖掘能力矩阵,不仅可以快速且精准地识别出空间中的每一样物品,还可以检测并定位空间中存在的文本信息,为用户从采集空间到编辑美化提供全面的助力。
识别的精度受到多种因素影响,比如物品、场景、文本是否参与过训练,物品和拍摄点的距离等。有特殊需求的用户,可以提前针对所要识别的物品、场景和文本进行定制训练,提高算法对特定内容的识别效果。
图像在应用中的丰富度
图像处理工具
如视为用户提供了丰富的图像处理工具,包括滤镜、图像替换、去除镜中设备、人脸自动识别马赛克、自动补充等,支持用户根据自身需求和审美,对数字空间进行个性化编辑,进而提升数字空间的功能性和用户体验,为用户提供更加便捷而丰富的服务。
举个例子,用户用设备在镜子前拍摄时,会把设备在镜子中的成像也拍下来,这会影响数字空间的整体美感、打破用户在游览数字空间时的沉浸式体验。但通过去除镜中设备这一功能,如视能够自动识别、去除采集设备镜像,并通过图像填充技术智能补充空白区域,让拍摄设备“消失”在数字空间中。少了这种“割裂感”,数字空间也更加真实而完美。
考虑到用户采集的物理空间不可能总是空无一人,如视还上线了人脸自动识别马赛克功能。通过先进的人脸检测技术和图像处理算法,如视能够准确、快速地识别出VR内容中的人脸图像,并对其进行马赛克处理,在进行隐私保护、保障内容合规性的同时,大大优化了用户体验。
总的来说,如视当前所具备的图像处理工具,覆盖隐私保护、空间美感、空间完整度等方方面面,综合考量了用户进行三维重建的功能和审美需求,充分彰显出如视以用户为中心的服务理念。
图像下载
基于生成并编辑后的数字空间,如视可提供PNG、JPG等多种格式的全景图下载,支持用户利用第三方工具对全景图进行二次编辑,并在多平台和渠道进行共享和传播,为用户提供更加灵活和便捷的使用体验。
简单来说,三维重建过程中的图像处理是对采集得来的RAW数据进行色彩处理、全景图拼接等加工,结合如视专业设备采集到的激光数据,或是如视轻量级设备+深度推测能力获得的深度数据,利用拼接能力构建一个由点云构成的三维空间,继而进一步生成空间三维模型。
如视的图像处理能力贯穿数字空间的采集、重建和后期处理全流程,能够将多张RAW数据处理为用户可自由定义彩色效果的单张全景图,也能基于多张彩色图生成高质量模型,并对全景图的物品和文本内容进行精准识别。比如在使用伽罗华时,早在摄影师进行采集拍摄的过程中,伽罗华就已经开始了一系列自动化的图像处理流程,这加快了三维重建的速度,使得用户能够短时间就可以漫游于数字空间中。
作为数字空间综合解决方案引领者,如视研发团队依旧在不断精炼图像处理能力的道路上继续探索,并期待通过对这一能力的不断升维为用户带来更加快速、真实、便捷的体验。
