2020东京奥运会正在如火如荼地进行,对于关注中国奥运军团,尤其是关注体操比赛的广大观众来说,一定不会忘记在每一位体操选手完成动作后直播中180度围绕运动员的技术动作回顾画面。画面定格或者在时间上的视角移位,充分地展示了运动员在双杠、自由体操、单杠、吊环等项目上的精彩动作。
看过2021年央视春晚或者关注过东方卫视《伟大舞者》节目的观众都应该了解,这种镜头所应用的拍摄技术就是所谓的“子弹时间”或者“时空凝结”技术,可以视作自由视角技术的一个具体应用。而在篮球比赛中,同样有通过视角变化展示运动员投篮瞬间第三视角和第一视角的画面,这也是自由视角技术与篮球运动结合的具体应用场景。诸如此类,自由视角技术不止运用在体操和篮球赛场,在高尔夫、田径、排球、3×3篮球、跆拳道等体育赛事都有体现。可以说此次奥运盛会,自由视角技术在体育领域得到了非常充分的应用。
自由视角技术多是通过布设的多视角的高清相机或者摄像机,同步实时拍摄或者录制场景内的画面,并进行视角画面矫正、点云重建等处理,获取各个角度的真实画面或者生成虚拟的画面,最终通过滑动切换视角等方式改变运动场景在空间、时间等维度的展示画面,呈现出“时间凝固”、空间自由相机移动等特效效果。
自由视角,更准确地说“子弹时间”等技术,并不是一种全新的技术。早在上个世纪90年代以及本世纪初就已经在影视制作、综艺节目以及部分小型化体育比赛中得到应用,但是受限于系统成本高、部署复杂度高、计算时间消耗久等因素,该技术一直无法在大型体育竞技比赛,如足球、篮球、橄榄球、体操、高尔夫等体育直播赛事中得到应用。随着时间发展,计算能力以及网络传输条件的优化,快速生成“子弹时间”、自由相机移动画面、球员视角等特效成为了可能,并逐渐在美国NFL职业联盟、NBA职业联赛、中国CBA联赛(视频8)等大型场景中得到推广使用,最终为奥运会中的大多数体育项目所应用。多年的应用,也促进了自由视角技术的快速发展,而如何快速以及高质量地生成自由视点的视频对于提高传统视频尤其是体育赛事直播观看体验有着至关重要的作用。
叠境数字科技,作为一家在计算机视觉技术、人工智能技术等技术领域具有核心竞争力的高科技公司,早在2019年就已经成功将自由视角技术应用在2019年第十五届世界武术锦标赛中,并快速推广到诸如腾讯《超新星运动会》、东方卫视《伟大舞者》、2020年中国CBA联赛等场景中,最终提出了一套能够同时提供“子弹时间”特效以及自由视角特效直播、点播服务的一体化解决方案。该方案充分利用了叠境数字科技在光场技术、计算机视觉、人工智能等领域的技术实力,将传统长时间的“子弹时间”特效生成速度提高到最快在5秒内就可以生成最终效果。为了提高视觉效果,本公司在子弹时间特效制作中实现了感兴趣区域放大缩小、改变聚焦点适应不同运动区域以及虚拟视角生成等功能,大大增强了视觉效果。
一直以来,叠境数字持续在人工智能领域进行突破研发,依托与上海科技大学的产学研合作项目,开发基于神经网络渲染的自由视点视频生成技术(传送门:叠境数字在自由视点技术方面取得重要成果),并应用在了叠境数字自由视点产品中,从而打破了更多的视角采集传感器等于更高的视觉效果的原有认知,实现了稀疏的视角也可以带来高质量视觉效果的新局面,降低了系统应用推广的成本。
自由视角技术在东京奥运会的大范围应用,打开了自由视角技术在体育场景中广泛应用的大门,而叠境数字科技在自由视角技术方向的持续创新性研发以及产品优化产品,让我们有信心相信:叠境数字科技有实力为客户以及观众带来更好的自由视角观赛新体验。