国际残疾人日丨走近手语AI背后的聋人团队
央视新闻客户端

2021-12-03 11:51 语音播报


时事

今天(12月3日)是国际残疾人日。就在不久前,为了让听障朋友能够获得更多的冬奥会信息,总台推出了央视新闻AI手语主播。这项AI技术的研发团队中,就有这样一群听障学子。

总台AI手语主播项目,包含了上百万个手语手势,支撑这个项目运行的“大数据”,是来自天津理工大学聋人工学院的老师和学生们搭建的手语语料库。他们用了6年多时间,将其丰富成了包含20多万条数据的全球最大手语语料库。聋人工学院的学生们,利用手语,结合计算机技术,在手语识别方面取得了耀眼的成就。

谈起缘何做起手语识别项目,聋人工学院教师袁甜甜表示,他们之前的调研表明,像手套、臂环会有一些歧视性的因素,而且臂环获取的是弱机电信号,对准确率影响非常大。无论是手套还是臂环,还存在一个很大的问题,就是无法展现手语中的情感表达。所以研发团队最终决定采用计算机视觉技术实现手语识别,把聋人的手语翻译成文字或语音,实现聋人的信息向听者方面传输。这样既可以提高沟通效率,也可以让沟通更显人文关怀。

和搭建其他数据库不同,手语数据库需要聋人一条条录入手语视频。手语句子千千万,执行起来异常艰难。但聋人工学院的学生们,在手语数据收集时热情高涨,毫无抱怨地对着镜头一遍遍打手语。有时候几十分钟下来,胳膊酸到抬不起来。聋人工学院学生张益彬说:“我感到非常荣幸,我希望能够继续做下去,进一步去进行推广(手语识别)。”

手语采集的工作,也得到了天津聋协和中国聋协的帮助。聋人工学院团队也因此采集到了更多的手语风格,大量来自不同年龄、不同知识水平,不同性别的人员的手语视频大大丰富了手语数据库,也让手语识别的准确率上了一个台阶。

不满足已取得的成就,聋人学子们向上攀登的脚步从未停歇。此次冬奥会只是他们实现手语识别落地的第一步,接下来他们致力于将手语识别技术提升到与人“交互”的新层面。

袁甜甜说,“手语识别只有加入交互功能,才能成为一个真正可以落地的实时(手语)翻译系统,这是一个双向翻译,而不只是一个识别。”

他们接下来的目标是实现手语识别项目在多个场景下的落地。就像现在成熟的语音翻译软件一样,随时随地拿出手机进行手语实时翻译,让听障朋友可以和其他人无障碍沟通与交流。他们还有一个想法,就是研发出能够进行手语交互的机器人,把他们放在机场、火车站或者政务大厅等公共场所,通过这种方式来达到服务聋人,加快聋人融入社会的目标。


编辑:胡德成


打开APP阅读全文