近日,上海肇观电子科技有限公司推出了一款内嵌智能深度相机---Feynman系列。
Feynman系列基于肇观电子自主研发的主控人工智能视觉芯片---NE-D163A,将主要供应无感智能门禁、AR/VR、智能交通、物联网、机器人、机器视觉和安防等市场。另外,为满足智能设备避障、智能分析和定位等需求,肇观电子还提供Feynman系列的软件开发工具包(SDK),使其能够设置差异化算法,进行深度定制。
强大的人工智能视觉芯片---NE-D163A
肇观电子是一家专门从事人工智能芯片和计算机视觉芯片设计的高新企业,其产品主要应用于车载、家用摄像、安防、3D视觉和门禁等芯片需求市场。主控人工智能视觉芯片NE-D163A搭配超强性能视觉处理独立硬件IP,完全由肇观电子自主研发,主要应用于工业检测、机器人和AR/VR等领域。
NE-D163A视觉AI芯片
NE-D163A搭载的嵌入式神经网络处理器(NPU),在业界硬件利用率方面处于领先地位。从每个处理器运算能力单位对典型网络的推理帧率来看,NE-D163A相比业内其他AI芯片,在性能上要强2、3倍。NE-D163A搭载的AI编译器Infer Studio™,除了支持Transformer、RNN、CNN、LSTM等网络类型,还支持NCNN、ONNX、Caffe、Tensorflow等框架。
另外,NE-D163A搭载的嵌入式神经网络处理器支持INT8和FP16两种精度选择。其中,INT8的精度损失能控制在1%以内,FP16则能达到无损精度,保证了算法部署的精确度。
Feynman相机有哪些性能特点
NE-D163A芯片还拥有自主学习ISP流水线架构,就算在各种复杂的光照条件下,Feynman相机仍然能生成高质量的图像。同时,Feynman搭载的传感器支持高动态HDR,在较低光照度的条件下,成像依然非常清晰。
国外竞品R* D435 (左)与Feynman M1 (右)
Feynman相机还能为机器人提供强大的理解能力和环境感知能力。Feynman相机搭载了丰富的传感器组件,包括双目红外摄像头IR模组、惯性测量单元 (IMU)、散斑结构光、彩色摄像头RGB全局曝光模组等,能够搜集周围环境中的多维度信息。
Feynman的SoC芯片包含了视觉加速引擎DSP、几何和深度引擎DEP、AI加速引擎NPU,同时运用了主动双目视觉技术,保证Feynman在室内各场景下都能生成高精度、高帧率的深度图。从整体上看,Feynman具有集成度高、AI算力强、体积小、深度图精度高、ISP成像质量好、帧率高、功耗低等特性。
Feynman相机集成了性能强大的嵌入式神经网络处理器,视觉加速算力非常优秀。这使得Feynman相机不光能生成高质量的深度图,还能根据深度图或者RGB图像实现生物检测、智能分析、识别。在DSP加速视觉算子的加持下,Feynman相机可以实现对VSLAM算法关键函数的加速,还可以定制实现高性能的点云处理和深度图后处理。Feynman也是业内首款集成DSP和AI算力的深度相机。
Feynman M1结构图
Feynman相机在不外挂其他处理器的情况下,就能实现720P 30FPS的深度图,深度视觉处理能力非常强大。我们知道,深度距离的精确程度跟深度图的精确度有很大的关系。在相同的外部条件下,Feynman相机的空洞率已经优于国际相机巨头的水平。
Feynman相机的结构非常紧凑,在大小上能够兼容市面主流的深度相机。与市面上的高端3D深度相机相比,Feynman相机的性能指标非常具有竞争优势,在智能设备的应用方面更加具有亮点。
Feynman相机的应用场景
市面上大多数深度相机,阳光下的主动光容易受到干扰,导致深度图的效果不佳。Feynman相机使用了独特的光学设计,使其不仅可以在室内使用,还能适用室外复杂的场景。在面对室外强烈的阳光时,Feynman相机在保持信噪比的同时,还能降低太阳光的干扰,保证了深度图的完整性和准确性。
Feynman相机的强大性能,保证了其在智能机器人领域的巨大应用前景。在工业应用领域,Feynman相机经过改款之后,新增了控制信号航插,千兆以太网和电源功能,以满足工业生产的需求。