在AI大潮的强大驱使下,这两年以语音识别为代表的智能音箱和以人脸识别为代表的智能摄像机获得了蓬勃的发展,大批典型产品纷纷批量落地。在前端轻型AI计算日趋融合的背景下,北京君正推出了针对音视频融合计算的芯片平台——T30A。
计算是智能的基础
计算是智能的基础,也是AI的基础。君正T30A瞄准的是前端轻型AI算法的落地。T30A提供一个1.2GHz主频的CPU与一个同频率的128位向量加速引擎,并且对8位张量计算做了定点优化。在这样的核心参数下,T30A可以给视觉算法和音频算法提供相对较高的计算能力。同时软件层面打包开放OpenCV/WebRTC优化算子,开放向量引擎的底层ABI。
得益于T30A恰当的计算能力,使得一些前端轻型AI算法具有快速、高性价比的落地可能。例如车牌识别摄像机,在完成视频的主体功能之外,T30A还可以单芯片支持低速车牌识别,目前若干厂商正在逐步落地,应用于一般出入闸口以及停车场内部。
与此同时,音视频融合计算也是当前一个主流趋势。君正T30A是一颗专业解决音视频融合计算的芯片平台,具有几个核心特点。首先在专业性上,君正T30具有专业的成像,视频编码,音频计算等能力,其有超低码流H.265/H.264编码引擎,专业高品质ISP,最高500万分辨率,支持任意大小像素的CMOS sensor;其次在融合性方面,君正T30A一颗芯片上就能够落地智能音频加智能视频应用的产品,它支持数字麦克风阵列,可支持双麦/三麦/四麦组合,并内置模拟麦克风音频codec,可通过I2S扩展外部音频codec;在前端轻型AI计算能力上,T30A依然表现强势,面向前端嵌入式AI;最后在应用上,君正T30A不同于其他AI概念芯片,T30A有成本、功耗、工程等众多优势,产品非常容易落地。T30A的超低运行功耗,最低至300mW,还支持屏幕显示和快速开机,冷启动可于一秒内完成。
专业的视频能力
T30A的基础是一颗专业的视频处理芯片。其内置高品质的ISP可以支持3A/3D-NR,支持WDR,微光夜视和全彩。T30A支持H.265/H.264编码,H.265是目前效率最高的编码方式之一,配合各种码流控制方法,就可以给多种应用场景提供最恰当的视频输出,从极高品质,到运动摄录,到网络传输,再到多码流同时输出均可以支持。
T30A最高可以支持500万分辨率的sensor输入,同样最高500万分辨率的视频处理。这样极高清的分辨率,为各类应用提供了广泛的视频接入选择。从玩具级轻视频的1M分辨率,到2K*2K的高清鱼眼;从3u像素的专业安防,到1.4u的移动摄录,均可以支持。
创新的音频能力
目前业内的视频处理器芯片,音频功能普遍较弱。君正T30A创新性地对音频能力做了定向增强。以视频为中心,是君正T30A音视频融合计算的基础。专业的视频处理能力,为单纯的音频智能插上了强大的翅膀。
T30A首先创新性地集成了数字麦克风阵列接口,可以支持双麦/三麦/四麦等多种阵列组合方式。基于数字麦克风阵列,就可以使T30A获得接近最近非常火爆的“小爱同学”、“天猫精灵”等音箱产品的语音能力。君正联合了业内多家知名的语音算法供应商,把DOA,NR,AEC,Beamforming,De-Reverbration等整合到位,直接提供“摇头机声源定位”“命令词控制”等功能。
T30A中包含音频codec,并且可以通过I2S接口扩展越级的音频codec,来达到发烧级的音频品质。
从这些独特的特性来看,君正T30A无疑是音频潜力很强的专业视频处理器。基于这些能力,一系列需要视频与音频融合的产品呼之欲出。例如语音识别摄像机,在原来智能摄像机的基础上增加语音命令,声源跟踪等功能。另外像目前若干品牌正在研发的教育机器人和儿童故事机,则是在原来纯音频的功能上增加远程视频能力,使得产品跃升一个级别。
创新差异化撬动智能视频大市场
除了音频之外,T30A在经典摄像机的基础上,还增加了另外一系列有趣的差异化创新。为广阔的泛视频市场提供一个通用型的视频处理平台。
T30A配套标准UVC/UAC协议集,配合H.265可以打造全新的高阶USB摄像头。由于USB的通用性,USB摄像头不仅可以接入PC即插即用,也可以接入机顶盒,Android/iOS设备作为增强的视频输入设备。
另外,屏幕显示,一秒以内的快速启动,低至300mW的视频运行功耗,这些特点为创新产品,跨界产品提供了超越想象的可能。例如交互式摄像机,快速启动的摄录产品,移动摄录,网络视频会议终端,都可以在T30A的平台上开花结果。
君正T30A是第一个音视频融合计算芯片,为广阔的泛视频市场提供了一个全面型的通用型的视频处理平台。以音视频融合为中心,以前端轻型AI计算为目标,君正T30A可以覆盖多种应用产品。综合看来,在车牌识别摄像机、语音识别摄像机、屏幕交互摄像机、教育机器人、儿童故事机、USB摄像头、视频会议终端等产品和领域上,君正T30A都将大有作为。