新闻中心

AR手语翻译,给无声世界加点“AI”

还记得小时候玩的游戏王卡牌吗?

动画里卡牌一出,怪兽就被召唤出来,站在我们面前做出各种炫酷动作

打开手机,火爆全球的宠物小精灵出现在任何地方和你对战……


虚拟世界与现实生活的多元碰撞,除了在游戏、广告中看到,给无声世界加点“AI”(爱)的AR手语翻译,同样也让人眼前一亮。


此时,小叠已经听到一些同学的内心OS:“AR手语翻译是啥玩意儿?”


先来张图你们感受下……


原来声音也可以 “眼见为实”!


根据世界卫生组织(WHO)的调查,全球目前共有3400万儿童存在不同程度的听力障碍,我国0至14岁听力障碍儿童总数超过200万。


和普通儿童先学说话再学识字不同,听障儿童主要通过手语学习识字,而低龄听障儿童识字数量有限,阅读中遇到生字需要翻译成手语才能理解,如果识字困难,听障儿童的阅读兴趣将大大降低。


为此,叠境数字依托光场技术,对动作状态中的真人进行三维重建,推出“AR手语,看见声音”计划,开发了国内首项“AR手语翻译”技术,它将文字翻译成手语,由真人演示出来,帮助听障儿童实现无障碍阅读,让他们爱上阅读,享受世界的美好。



“手语翻译+AR”的结合,不但帮助听障儿童建立文字、手语、实物三者之间的对应关系,实现了结合语境的手语阅读,还通过借助AR手语的力量为听障儿童建立一条认知、学习的新途径。


与传统手语翻译不同的是,该技术一方面以 AR真人交互形式帮助听障儿童理解词汇,更好地进行自主阅读和学习,另一方面兼具学习教辅的功能,让每一个听障家庭的亲子关系变得更亲密,父母享受陪伴阅读的快乐。


“AR手语翻译”技术的亮相,也是叠境数字在光场采集、真人三维重建研发领域的创新突破的一次展示。它利用光场采集系统采集真人的手语翻译,然后进行高精确真人三维建模,经过高压缩比算法快速创造一个完全“真实”的手语解说员。



未来,叠境数字将以光场采集、三维重建等核心技术继续推动“AR手语,看见声音”计划,给无声世界加点“AI”,让听障儿童从AR手语中看到丰富多彩的世界,从技术创新中感受到人文关怀。