首页 厉娜 天津工业大学开发手语实时翻译系统,让人工智能理解手语-一千亿体育国际登录官网vip,千亿体育国际官网app手机版

天津工业大学开发手语实时翻译系统,让人工智能理解手语-一千亿体育国际登录官网vip,千亿体育国际官网app手机版

厉娜 2022-07-08 22:32:35

一千亿体育国际登录官网vip,千亿体育国际官网app手机版天津工业大学精研创译团队研发实时手语翻译系统——

一千亿体育国际登录官网vip,千亿体育国际官网app手机版让人工智能懂手语(解码并走近新职业)

一千亿体育国际登录官网vip,千亿体育国际官网app手机版本报记者李嘉定

一千亿体育国际登录官网vip,千亿体育国际官网app手机版核心阅读

一方面,听力受损的人使用手语,另一方面,文本在屏幕上被自动“翻译”。为了让更多的听障人士被“听到”,天津工业大学精研创益无障碍智能技术研发团队历时近5年搭建视频语料库,研发“实时中文标牌”复杂场景下的语言翻译系统”,让人工智能技术为人们带来更多便利。

镜头前,张艺斌左右手交替挥动,嘴角随着手语动作微微上扬。旁边的显示器上,顿时出现了“风雨过后,阳光永远”的字样……

张一斌是天津工业大学耳聋与人工智能学院网络工程专业2019级学生,精研创益无障碍智能科技研发团队成员。在这个近60人的团队中,超过半数的成员都是像张一斌这样的听障学生。他们花了近 5 年的时间来建立一个包含超过 300,000 个视频的语料库。现在,团队打造的“复杂场景下的实时中文手语翻译系统”即将落地应用。

尝试将手语实时翻译成语音或文本

2006年,袁甜甜成为天津工业大学聋人学院计算机系教师。对她来说,教学中最大的困难是沟通障碍。

当时语音识别软件还没有出来,学生全是听力障碍。袁天天只能硬着头皮自学手语。 “下课后,她手舞足蹈,汗流浃背。当她从台上往下看时,学生们还目瞪口呆……”袁天天说,向学生传达信息很难,更难的是理解学生的想法。

根据第二次全国残疾人抽样调查,我国有听力障碍者约2780万人。 “时至今日,手语仍是听障人士的‘母语’。”袁甜甜表示,尽管近年来语音识别软件大行其道,但表达的逻辑起点始终是针对听障人士。 ,理解是一方面,但他们最想要的是被‘听到’。”

2016年底,手语识别系统的雏形开始在袁天天的脑海中变得清晰。 “有听力障碍的人在镜头前使用手语,视频图像经过计算机分析处理,转换成文字或语音。”袁天天解释了这个想法,创新的逻辑起点已经从听力人变成了听障人,这意味着没有成熟的程序可以借鉴。 “这是一场关于‘表达’的远征。”袁天天说道。

构建算法并编写一套计算机手语教科书

如果说“手语识别”和“语音识别”有一些相似之处,那就是两者都必须依赖丰富的语料库。今天,语音识别语料库已经非常成熟和丰富。 “自然状态下的语音语料库很容易获得,但手语语料库非常少。”袁天天说道。

“此外,语音是‘单通道’形式,而手语是‘多通道’。计算机不仅需要识别动作,还需要识别表情和场景。”袁甜甜介绍,从对数据采集的支持程度来看,目前我国手语语言学体系不健全,“手语方言”比比皆是,数据采集难度极大。

“要把想法变成现实,首先要建立一个标准。”袁甜甜说,她和她的团队确定了先易后难的思路,按照国家通用手语的标准收集数据,“简单来说,我们的翻译就是手语‘普通话’ 。”

王建元是聋人人工智能学院网络工程专业2018级学生,精研创一团队创始成员。他的工作是收集手语语料库,也就是视频片段。 “招募志愿者,让他们录制视频,一遍一遍地录制。” ” 王建元 “说。

王建元从小就读于特殊学校,父母听力受损。他从不回避在听人面前使用手语,因为他认为手语很美。 “可是,手语之美是复杂的,工作量太大了!”王建元笑着说道。

近两年,王建元等团队成员几乎每天都准时出现在学院实验室。如今,他们已经收集了超过 300,000 个语料库。 “经过计算对比,距离汉语HSK四级只差100多字。”王建元介绍。

手语是一种具有特定语法和词序的视觉语言。手势、表情、肢体动作自由排列组合,表达不同的意思。在袁天天看来,这个系统呈现的内容不应该是一个由中文单词组成的句子,而应该遵循输入输出端的手语词序和上下文,以及中文的表达方式。逻辑。

天津工业大学计算机学院一年级研究生孙悦将她在团队中的工作描述为“架桥”。 “就拿那句‘阳光总是在风雨之后’来说,手语的词序是‘风/雨/终/阳光’,这显然是不可理解的。”孙悦说,她和小伙伴们逐步搭建了一套手语识别算法框架模型,“通俗的讲,我们已经为计算机编写了一套‘手语教材’。”有了这套“教材”,丰富的语料就有了用武之地,相当于找了手语。转换成中国规则,只有修好“桥”,数据才能流畅运行。如今,这种模式已经基本能够实现“复杂场景下的实时手语翻译”。

搭建桥梁,将手语翻译应用于更多场景

2019年,袁天天领衔的“复杂场景下的实时中文手语翻译系统”入选工信部新一代人工智能产业创新重点任务揭牌项目,获得国家财政支持,也加快了整个团队的步伐。

去年5月,他们将研究成果带到在天津举行的第五届世界智能大会会场,并获得好评。 “当时系统已经覆盖教育、法律、餐饮、交通等应用场景,在光线充足的环境下,识别率可达95%。”袁天天说,今天系统还在升级中,“我们的目标是100万个语料库,基本覆盖社会生活的常见场景。”

最让张一斌印象深刻的是,去年10月,他与团队联合研发的“鲸鱼说话”——多模态连续手语自动标注识别系统项目荣获第七届中国国际“互联网+”大学生创新与创业大赛。全国总决赛金奖,自动标注识别是手语翻译的关键环节。这也证明了“张一斌”的努力引起了国内科技界的高度关注。

越来越多的合作伙伴闻讯而来,这让团队成员对系统未来的应用场景有着无尽的想象。不久前,天津急救中心也找到了他们,希望能引进这套系统。 “接受急救的往往是听力受损的人,当他们有生命危险时,打字和交流的效率太低,往往只能用手语表达。”袁天天说道。

年内,该系统将应用于天津工业大学办公楼。届时,大楼大厅将出现互动机器人和互动大屏幕,所有听障人士都能“听到”。

11183快递查询网

泛亚电竞在线平台,泛亚电竞官网首页

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

友情链接