欢迎光临顶点光电子商城!专业的光电器件与集成电路采购平台!
您好,请登录 免费注册
首页 > 资讯中心 > 行业资讯 > 新型近红外光场相机与AI技术结合 可进行精确面部表情识别
新型近红外光场相机与AI技术结合 可进行精确面部表情识别

        顶点光电子商城2022年2月10日消息,韩国科学技术院(Korea Advanced Institute of Science and Technology,简称KAIST)的一支研究团队开发出了一款近红外光场相机。


1-22021011160MY.jpg


        光场相机是由新加坡籍美国斯坦福大学电脑科学系博士吴义仁及其团队首次提出的。光场相机最鲜明的特点是“先拍照,后聚焦”,它能够完整的记录光场信息,因此拍照后可以任意调整照片的焦点。


        但是,现有的光场相机存在着一个致命的缺点---有效像素不足,导致拍摄出来的照片质量不高。如果配备高像素、大尺寸的镜头,又会导致成像的速度非常慢,即使是专门配置一个高性能的GPU,改善幅度也非常有限,还会导致成本的急剧增加。


1-220210111I22O.jpg

吴义仁创办的Lytro公司的光场相机产品


        KAIST开发出的这款近红外光场相机能够克服这些缺点,对细微的面部表情能够进行3D图像的重建优化,图像重建方式包括3D图像采集、多视图采集和重聚焦采集,大幅提升了成像质量。另外,近红外光场相机还能屏蔽外界光照条件的影响,不同光照条件下,面部表情的3D图像重建都非常优秀。


1-220210112514223.png

VCSEL光源以0°、30°和60°的角度照射到人脸上,3D图像重建误差对比


        从结构上来看,近红外光场相机在CMOS图像传感器前配置了一套微透镜阵列,这样做的目的是减小相机的尺寸,以适用智能手机,同时还能做到只拍摄一次,就获取光线的方向和空间信息。但是,环境中各种光线造成的阴影会与微透镜阵列形成光学串扰,进而影响光场相机的3D图像重建和图像的对比度。为了降低光学串扰,该团队在微透镜阵列之间还加入了可见光和近红外(NIR)的吸收层,大幅提升了图像的对比度。


1-22021011202JP.png


        该近红外光场相机还使用了VCSEL来稳定在近红外范围内的3D图像重建精度。实验证明,当VCSEL光源以0°、30°和60°的角度照射到人脸上时,该近红外光场相机的3D图像重建误差,比使用环境光的光场相机降低了54%。


1-220210112204542.png


        该研究团队还将近红外光场相机技术与AI技术相结合,开发出了一种面部表情识别技术。这项研究还获得了韩国科技信息通信部、韩国贸易、工业和能源部的支持。


1-220210112H11J.png


        该近红外光场相机的潜在应用范围十分广阔,包括远程医疗、即时诊断、人机交互、社会认知等领域。