随着6G时代的到来,沉浸式内容消费需求显著增长,沉浸内容的展现将直接影响用户体验。其中,网格模型作为一种主流的数据形式,网格模型质量评价成为保障VR/AR、元宇宙等应用用户体验的关键。本报告系统分析了当前网格模型质量评价的发展现状与面临的主要挑战,包括数据集不足、动态/AIGC内容质量评价研究难点和缺少统一标准。针对这些问题,报告进一步探讨了可行的发展建议,旨在推动沉浸内容质量评价技术的进步,促进沉浸式应用生态的健康发展。
网格模型质量评价发展现状
随着6G时代的到来,沉浸式内容消费需求显著增长,虚拟现实(VR)、增强现实(AR)、元宇宙等业务迎来飞速发展。其中,以顶点、连接边、连接面片为基础描述三维物体的网格模型(Mesh)作为沉浸内容中主流的数据表达形式,其质量直接决定模型的呈现效果。
然而,由于网格模型数据的生成方式多样(如3D扫描、算法重建、人工建模等),导致其数据质量参差不齐,存在几何结构失真、纹理信息缺失或瑕疵、拓扑错误等问题,直接影响用户的沉浸式体验与感知质量。
因此,建立一套系统化、客观化的网格模型质量评价(Mesh Quality Assessment,MQA)方法显得尤为重要。具备客观、精确的MQA能力,不仅有助于衡量网格模型的表现质量,也为优化内容生产流程、提升用户体验提供了重要支撑。
目前,MQA的发展已经历多个阶段,技术路线和研究重点不断演进,具体如下:
阶段一:几何结构质量评价起步阶段
在MQA发展的初期,评价重点主要集中于网格模型的几何结构质量。此阶段业内构建了点云或无纹理的网格模型数据质量评价数据集[5]。评价方法包括基于顶点坐标、法线夹角等几何参数,或借助神经网络计算模型的正交性、光滑性等物理属性,从而量化其几何结构质量。
阶段二:彩色网格模型与渲染质量评价阶段
随着带纹理的彩色网格模型数据逐渐普及,业内构建了包含纹理信息的质量评价数据集[4],并发布了相关基准测试(benchmark)。在几何质量的基础上,研究开始关注渲染图像的主观质量评价。典型做法是将网格模型从多个视角渲染为图像,并采用图像质量评价方法对渲染结果进行分析,以衡量模型整体表现。
阶段三:有参考模型的失真评价阶段
随着网格模型数据在压缩、传输等应用场景中的广泛使用,该阶段主要关注模型在处理过程中产生的失真。业内通过对原始网格模型模型施加人为失真,构建有参考的数据集[1][2],并发布相关benchmark。评价方法主要包括从原始模型与失真模型中提取特征、计算其差异,并基于差值的量化结果判断失真模型的质量损失程度。
阶段四:AIGC驱动下的新兴评价需求阶段
随着AIGC技术的迅猛发展,出现了text-to-3D、image-to-3D等网格生成方法。复旦大学与上海人工智能实验室等机构已开源相关的文生3D工具用于数据生产。为应对AIGC生成数据的质量评价挑战,业内构建了AIGC产出的网格模型数据质量评价数据集[3]。由于该类数据并非源自真实世界采样,除了传统的几何结构和渲染质量评价外,还需额外考虑几何合理性、几何细节精度以及文本/图像与3D模型之间的一致性等指标。目前,该方向的质量评价技术尚处于起步阶段,已有研究尝试引入语义一致性等判断依据,以提升评价的全面性和智能化水平。
此外,开源社区和标准化组织(如MPEG、IEEE)也日益关注MQA的发展,积极推动公开数据集的建设与评价协议的标准化制定。随着更多机构的参与,有望逐步形成行业共识,促进沉浸式内容制作的规范化与标准化发展。
网格模型质量评价挑战
高质量MQA数据集数量不足
与2D图像和视频数据相比,高质量的MQA数据集仍较为稀缺。主要受限于三方面因素:首先,数据采集与建模成本高昂,需依赖高精度的3D扫描设备与专业建模软件,硬件与人力投入巨大;其次,质量评价涉及几何结构、纹理细节等多个维度,人工标注不仅耗时耗力,而且容易受主观因素影响,不同评测人员之间存在明显偏差;最后,现有主流开源数据集[1]~[5]主要集中在3D采集与建模技术,尚缺乏针对AIGC等AI生成内容的数据资源,导致现有模型在跨领域任务中的泛化能力较弱、评价性能有限。
动态网格模型序列及AIGC内容质量评价方向难点尚未解决
当前,MQA的研究主要聚焦于静态网格模型的检测,而针对动态网格模型序列及AIGC生成内容的质量评价仍显不足。在VR/AR、元宇宙、数字孪生等典型应用中,用户接触的3D内容往往是动态变化的,且往往没有可比对的现实参考。动态网格模型序列的质量及AI生成的内容质量直接影响用户体验。
对于动态网格模型序列,其质量评价除需考虑基本几何结构外,还存在评价模型运动的自然性、帧间过渡的连贯性、长期观看时是否引发视觉疲劳等技术难点。目前尚无有效的研究成果及解决方法。
而针对AIGC生成的网格模型,AI生成导致生成的模型可能存在结构不合理、语义不一致等潜在问题,传统基于几何、纹理的评价方法难以有效检测这类质量缺陷。亟需发展具备结构合理性判断、语义理解能力的新型评价方法。
缺少统一且覆盖全面的标准
业内当前缺乏统一的MQA行业标准。虽然MPEG已经开始关注这一问题,并开展了针对动态网格模型数据压缩与失真评价的标准制定工作,但相关方法主要依赖原始模型作为参考,采用PSNR等传统指标计算质量损失。这种“有参考”的评价方式存在明显局限:依赖于原始模型作为参考,无法独立评价网格模型本身的质量,难以对模型的主观感知质量进行有效量化。
网格模型质量评价发展建议
持续构建专业的MQA数据集
针对MQA数据不足的问题,需持续构建高质量的MQA数据集。结合静态、动态及AIGC各自特点,通过多元化的采集方式和系统化的标注流程来确保数据的全面性和可靠性。对于静态内容,可依托专业建模软件或开源数据库进行收集,覆盖不同复杂度和应用场景;动态内容则需要通过动作捕捉或4D扫描技术获取包含各种运动模式的序列数据,并模拟实际应用中可能出现的时域失真(如帧间抖动、运动模糊等)以增强数据的代表性。对于AIGC内容,在数据构建过程中应确保生成参数的多样性(提示词/提示图像类别、采样步数、随机种子设置等),提高数据分布的覆盖范围与评价的泛化能力。在数据标注环节,既要包含客观的几何精度、拓扑结构等量化指标,也要通过专家评测或借助众包平台收集MOS及语意匹配度,以全面反映人类视觉感知。为提升数据集的实用性,还需要引入学术界和工业界的共同协作,打通行业偏差,方便不同研究团队进行横向使用。
动态网格模型序列及AIGC内容质量评价的可行思路
在对动态网格模型序列质量评价时,可从时空一致性和人眼感知特性两个维度建立进行评价。针对这两个维度的问题,可以设立相关的质量评价指标,如:检测帧间过渡时平滑度识别模型拓扑结构变化一致性、通过投影视频质量评价以实现对渲染呈现进行质量评价等。
在对AIGC生成模型质量评价时,可从模型与prompt之间的匹配度进行识别。可通过多视角描述得到一段文本,并与prompt文本匹配的方法在匹配度维度下进行质量识别。此外,还可引入跨学科的方法,结合计算机图形学、结构力学、材料学和运动分析等领域的知识,辅助构建准确实用的结构合理性评价能力。
积极推进MQA标准化工作,形成统一标准
联合业内企业及高校积极推进标准化工作,针对AI生成3D内容快速增长带来的质量评价需求,特别是在缺少原始参考模型的AIGC应用场景,推动建立一套标准化的质量评价方法。相关研究重点包括:1)构建多维度质量评价指标体系;2)探索无参考条件下的质量评价方案;3)研究动态网格模型序列的评价方法。标准化工作的推进将进一步完善AI生成3D内容质量评价方面的标准体系,为元宇宙、数字孪生等新兴应用的健康发展提供技术参考,同时促进3D内容产业的质量规范化建设。