您现在的位置: 镇江新闻  >   镇江新闻 - 社会

不懂手语也能与聋哑人沟通?带上“心语机器人”就可以了

发布时间:2015-01-08 04:17  金山网 www.jsw.com.cn 【字体:放大 缩小 默认

金山网讯  如果不懂手语,怎么才能与聋哑人“交谈”?有这么一款应用软件,你对着它说出你想说的话,这些话就会被转换成手语图片显示出来。近日,江科大计算机学院5名大学生在该院老师王卫民的指导下,成功开发出一款手语翻译软件“心语机器人”。有了它,不懂手语的人也能和聋哑人方便快捷地沟通了。这个软件真的有翻译手语的功能吗?昨日,记者来到江科大一探究竟。

实验时间:2015年1月6日

实验地点:江科大东校区计算机学院4楼

实验用品:一部智能手机

实验人员:江科大计算机学院老师、学生、京江晚报记者

实验过程:软件显示对应手语图片

昨日上午10点,在江科大计算机学院4楼的一间教室里,该院老师王卫民正在和软件开发团队的5名学生商量接下来的软件开发计划。他们所说的软件,能将人说话的内容转换成手语图片,便于不懂手语的人和聋哑人直接交流。只要是智能手机、电脑、平板电脑都可以安装,但由于目前还没有成熟,并没有对外推广。当记者询问该软件如何使用时,王卫民拿出他的智能手机,教记者使用这个应用软件。

手机页面上有一个机器人摸样的应用图标。记者用手点击图标后打开软件,软件页面弹出一个对话框。一个名为“KO”的卡通人物头像后面显示出了“心语机器人欢迎您!”的字样(图1)。软件成功打开。

页面最下方,有个“语音输入”的按键。记者点击按键后,页面弹出了一个“请说出内容”的提示框(图2)。王卫民说,只要对着这个提示框说出想说的话,再点击“说完了”的按键,软件就会显示出手语图片来。

记者对着提示框说了一句“你好”。软件立刻显示出两张手语图片(图3),反应之快让记者感觉有些神奇。

当记者询问是否能翻译出有些难度或者是字数更多的话语时,王卫民笑着表示没什么问题。随后,他对着“请说出内容”的提示框,说出了一句“我肚子饿了,今天中午吃什么”。随即,软件页面就立刻显示出了6张手语图片(图4)。王卫民说,这几张手语图片正是他所表达的意思。

应用前景:成为基础平台服务社会

王卫民介绍,原本他们打算研究一款智能饮水机项目。这个饮水机可以通过识别人的语音而自动提供热水、冷水和调节温度。

饮水机的语言识别系统做好后,由于某种原因,项目无法继续。可是语音识别系统已经做好,就此放弃有些可惜。“为什么不把语言识别系统运用到交流上呢?”学院另一名老师的提醒,让王卫民的团队看到了新的方向。

随即他们将语言识别系统运用到正常人与聋哑人的日常交流沟通上。王卫民说,当创新不再仅仅局限于技术的改进,而更加注重社会公益性时,创新也变得更有意义。

“心语机器人”的诞生,无论是程序的编写,系统的设定,还是手语图片库的收集整合,过程很不容易。目前系统的图片库里已经有了5000余张手语图片,基本能满足日常的手语交流。这些都是团队成员从网上下载的。

目前“心语机器人”翻译出来的手语还只是由一张张独立的图片。王卫民称,他们正在逐步完善其性能,下一步准备将翻译出来的手语以3D动画或者是视频的形式展示出来,从而使语言的表达更加连贯。王卫民表示,目前在国际和国内,还没有出现手语翻译等相关应用软件,虽然国际上也出现过类似手语翻译机器设备,但由于是翻译机器,携带很不方便,所以很难真正得到推广与应用。王卫民说,他们团队希望以“心语机器人”软件为起点,让今后更多类似相关软件能以他们的资源库为基础,不断进行扩充整合改进,最终让他们的软件成为一个基础平台,为整个社会所共有。(记者 孙晨飞 通讯员 王琳)

来源: 作者:  责任编辑:耿业宏
分享到:

金山论坛】 【打印】 【关闭
 
 
相关新闻