实验室的主要研究方向有:感知机理,计算智能与知识发现,视感知,听感知,数字媒体技术,可视化与视觉计算。这六个研究方向间的关系如下图所示:

机器系统的视感知与听感知是实验室科研的主攻方向。但是,机器感知系统的研究与机器智能和生物感知机理有着十分密切的联系。这里,感知机理、计算智能与知识发现这两个方向将为机器感知系统的研究提供重要的理论支撑。同时,为了使机器感知研究的成果能够更好地应用到国家经济、国防与文化建设等实际问题,数字媒体技术、可视化与视觉计算这两个方向主要针对机器感知系统的关键技术问题,开展有效的应用基础研究,在理论方法研究与具体应用之间搭建稳固的桥梁。

感知机理

充分发挥心理学、认知科学、神经科学与信息科学等多学科交叉的综合优势,针对视觉知觉组织、听觉知觉组织、言语可懂度以及听力康复等问题,开展视觉与听觉神经生理学、心理物理和心理声学、心理生理ERP、动物视听觉行为学等基础研究工作,从感知心理学和认知科学的角度探索生物感知的机理和方法,为视、听和触觉的信息处理提供基本理论和方法。

具体研究内容:人类视知觉及其神经机理和几何形状识别的视知觉机理研究;汉语英语听感知差异研究;空间分离对能量掩蔽和信息掩蔽的释放作用,启动效应对信息掩蔽的释放作用;知觉负载对视觉搜索和注意选择的作用;正常儿童和阅读障碍儿童的视觉、听觉加工能力、言语加工能力及其相互关系研究;正常成人理解汉语句子时的语义、句法加工过程及其神经基础;视觉、听觉注意返回抑制的认知机制研究;认知控制的认知、神经机制和空间注意对认知控制的调节;情绪信息对注意和时间知觉的影响;不同依恋类型对情绪信息的神经反应;人类决策行为结果评价的神经机制研究。

研究人员:濮鸣亮, 周晓林, 李量, 吴艳红, 方方, 李晟, 张亚旭

计算智能和知识发现

以多媒体数据和机器感知数据为对象,开展计算智能、智能分析与知识发现、智能信息系统等层面的研究工作,结合数据库、知识发现、基于内容的信息检索等领域的理论、方法和技术,实现海量异构信息的集成、分析处理与服务,为机器智能提供一系列的处理方法。

具体研究内容:在计算智能方面,开展过程神经元网络、进化计算和复杂系统建模方法的研究;在智能分析与知识发现方面,研究人工智能技术的各种方法和数据仓库、联机分析处理、数据挖掘、时空信息处理,并将其成果应用于金融、电信等国民经济重要领域;在智能与多媒体信息系统方面,开展Web环境下的信息处理,Web信息系统自动化构建环境,数字图书馆/博物馆以及无线传感器网络等研究。

研究人员:何新贵, 谭少华, 谢昆青, 谭营, 楚天广, 李红燕, 张岩, 童云海, 邓志鸿, 马修军, 宋国杰, 马秀莉

视感知

围绕图像和视频处理、模式识别理论、视觉几何计算中的一些重大关键问题,从计算理论的角度研究视觉信息处理的新理论、新方法和新技术,开发实用的机器视觉原型系统。

具体研究内容:在基础理论研究方面,开展图像转换的理论方法、图像空间中的特征匹配和相似度测量等问题的研究;在图像与视频处理方面,研究图像和视频压缩、图像重建、动态环境中人体运动检测与跟踪等算法;在模式识别理论和应用方面,研究特征空间的降维、特征抽取和选择、特征分类等问题,并开展模式识别理论在生物特征识别中的应用;针对大规模复杂场景的重建和分析问题,研究摄像机标定和定位、数字几何处理、三维目标跟踪、车载信息获取与分析系统等视觉几何计算方法,并将其应用到智能交通、数字文化遗产、医疗外科整形等领域。

研究人员:查红彬, 封举富, 许超, 赵卉菁, 刘宏, 林宙辰, 曾钢, 张超, 郝鹏威, 林通, 英向华, 王立威, 崔锦实, 裴玉茹

听感知

结合电子学、语音学以及认知科学等领域的理论和方法,在深入理解听感知机理、语音和语言学规律及其特点的基础上,研究计算机听觉、语音信号处理、自然语言处理、智能人机交互以及听力康复等领域的若干科学问题。

具体研究内容:为适应不同的噪声应用环境,开展声源定位与跟踪、单耳和双耳的计算听觉场景分析的研究;在机器语音识别和合成方面,重点研究基础标注语音数据库建设、语音韵律统计模型、大词汇连续语音识别、语种识别、说话人识别以及语音合成等科学问题;在自然语言处理方面,开展统计语言模型、领域语言模型、智能信息检索、统计汉英机器翻译方面的工作,最终实现一个融合多层语言学知识的自然语言理解系统框架。在听感知方向开展言语可懂度理论及可懂度计算模型,基于听知觉组织的汉语言语可懂度计算模型;听力损伤主客观评价方法及康复预测模型,针对汉语的数字助听器及人工耳蜗语音处理策略。

研究人员:迟惠生, 吴玺宏, 罗定生, 曲天书

数字媒体研究

围绕海量视频、音频和文本等数字媒体,结合生理心理学、计算机科学、统计理论、信息论及模式识别理论,利用电子、通信、广播、信息管理、知识产权、传媒艺术与文化创意等技术,开展多媒体数据压缩、多模式接口以及虚拟现实等方面的研究。

具体研究内容:多种媒体(视频、音频、文本等)融合的宽带媒体的采集、加工、传播、存储方法的研究;数字视频和音频编解码方法研究;手语识别与合成方法研究;数字媒体内容保护与数据版权管理方法研究。

研究人员:高文, 王亦洲, 黄铁军, 熊瑞勤, 田永鸿, 马思伟

视觉计算和可视化研究

结合认知心理学的研究成果,运用计算机图形学和图像处理等技术,重点研究高维数据可视化,虚拟设计,大场景实时绘制与漫游,医学影像处理与分析等新型人机交互的理论、方法和技术。

具体研究内容:基于动漫数据库的计算机辅助动漫创作关键技术研究;基于手势操作的概念设计;虚拟战场仿真;数字几何处理;医学图像重建;融入多种感知信息的视觉信息可视化和计算方法;海量多维数据的可视化;Web信息可视化;复杂文本数据可视化;数字城市的可视化及其在智能交通中的应用等。

研究人员:汪国平, 周秉锋, 袁晓如, 姚远, 陈毅松, 李胜