ai视觉技术上市公司(全球首个ai视觉芯片)
人工智能的应用场景主要有三个:语音识别、自然语言处理和视觉应用,其中视觉是最成熟的领域之一。
对于AI视觉的快速发展,一个很重要的基础就是AI芯片。随着落地规模越来越大,场景越来越丰富,对AI视觉芯片提出了更高的要求。
什么样的芯片比较受欢迎?有哪些主要的落地场景?有哪些行业痛点可以解决?本文梳理了18家本土厂商的AI视觉芯片及相关应用,试图分析一些技术和落地趋势。
三大人工智能视觉方案逐渐成为主流
按照应用方向,市面上的AI视觉解决方案可以简单分为三类:低功耗AI视觉解决方案、AI IPC模块解决方案、AI计算盒子。
首先,随着对端侧智能需求的不断增加,低功耗AI视觉解决方案发展迅速。主要应用类别有手机、智能门锁、智能门铃、家用AI摄像头等。这些方案使用电池供电模式,因此需要非常高的功耗。
低功耗AI视觉解决方案已成为主流应用。
面对越来越高的场景复杂度和图像质量要求,传统的ISP图像处理技术已经逼近瓶颈。随着参数库越来越大,调试难度越来越大,开发周期逐渐拉长,用于画质提升的投资回报率越来越低。这时候画质技术和AI技术的深度融合就至关重要了。
利用AI计算能力深度学习海量场景和数据,智能调优复杂参数,输出算法模型辅助图像处理,使画质突破传统ISP的限制。AI和传统ISP的结合在手机上非常突出,也在进入泛安全领域。
其次,随着AI视觉在泛安防场景应用的加速,人脸识别、人形检测、入侵检测等传统安防的技术需求已经渗透到消费场景,IP摄像设备也越来越高清化、智能化。
IPC设备本身有一定的开发门槛,需要很多技术支持。AI IPC模块因为自带应用算法而广受欢迎,通常支持多种无线接入方式,SDK方便用户二次开发。这种方案比较成熟,已经进入批量出货阶段。
再次,AI force box是AI和边缘计算的结合,可以在端侧和边缘系统实现高性能计算和AI性能。
随着对端侧智能需求的不断增加,数据量也在不断上升。这种“箱式”设备在市场上越来越受欢迎。它们往往具有丰富的功能扩展性,包括以太网、USB等接入功能,方便接入各种传感器和外设,比如连接摄像头进行图像采集。
支持HDMI显示或CAN工业总线,支持Wi-Fi和4G/5G通信,实现视觉识别数据处理/分析的一站式控制,让数据传输和处理更加高效,一定程度上促进AI从云端的下沉应用。
五类AI视觉芯片大PK
AI视觉的主要芯片可以简单分为GPU、CPU/集成GPU、带NPU的SoC、FPGA和RISC-V架构芯片。这些芯片面向不同的应用和用户类型,也呈现出不同的发展趋势。
其中基于GPU的开发板可能很多用户刚开始AI开发的时候都会接触到,比如NVIDIA TX2或者Nano,AMD的APU SoC等。这类产品最大的优势就是生态完美。
无论是Tensor Flow、Caffe、PyTorch还是任何一个AI库,都运行流畅,开发体验良好。
第二类CPU/集成GPU主要针对计算能力要求不高的应用,只有现有的CPU或集成GPU才能满足。优点是整体硬件成本较低,方案成熟;缺点是计算能力不够大,支撑不了太大的AI模型。
第三类是带NPU的SoC,日益成为AI视觉主芯片的一大趋势。他们将NPU与主处理器集成,以满足中高计算能力的要求。这一领域的。。有海思3519AV100、Hi3559A、
瑞芯微RK3399Pro,RK1808等。由于是单芯片,硬件成本适中,挑战主要在于模型的量化部署和模型部署工具的成熟度,这主要依赖于芯片厂商成熟的工具链支持。
除了这类单芯片设计,市面上还有一类神经计算加速棒产品,例如Intel Movidius、瑞芯微等都提供这类产品,可以通过USB插到板卡上提供运算能力。但是这类方案需要进行相互之间的数据传输,
对于整体的方案设计、硬件的稳定性等都有一定挑战。
第四类基于FPGA的主控芯片,主要满足对实时性要求较高的应用,比如自动驾驶/辅助驾驶、工业级应用等。挑战在于开发难度,涉及一些自研AI加速FPGA逻辑,需要底层的加速设计和量化方案设计,
以及相应的转换、编译。
比如嘉楠基于双核64位RISC-V架构+ISP图像处理器的K510、全志科技最新推出的ARMCortex-A7+RISC-V协处理核的多目异构AI视觉芯片V853、晶视智能基于平头哥的双核RISC-V IP+TPU+ISP的AI视觉芯片等。
由于需要进行图像处理,这类芯片往往需要采用RISC-V主处理器+ISP或是Arm CPU+RISC-V协处理器的异构形式,以应对更大的算力需求和更高的图像处理性能。
新老国产芯片厂商猛攻AI视觉赛道
OPPO马里亚纳X影像处理芯片
自研DSA架构,其中包含多个IP:有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP,以及自主设计的双层内存系统等。
MariLumi主要进行图像信号的降噪和HDR处理,MariNeuro主要负责AI降噪算法加速,自研MIPI用于对接各种图像传感器,包括OPPO和Sony定制的传感器,
Arm控制IP主要用于I/O口控制等,双层内存架构用于内部数据搬运。
vivo AI-ISP影像芯片
vivo最近宣布新一代自研影像芯片由传统ISP架构升级到了AI-ISP架构,可实现1.3 万亿bit /s的数据吞吐速率,16.3 Tops/w能效比,夜景。。降噪效果提升20%。
基于AI-ISP架构革新,vivo新一代自研芯片实现了三大突破:第一、片上内存单元的升级,带来了每秒1.3万亿bit的数据吞吐速率,拥有了强大的算力保障。第二、AI计算单元的升级,带来超高能效比,
DLA加速器的峰值能效比达到每瓦16.3 万亿次运算。第三、图像处理单元的升级,提升了AI-NR降噪、HDR影调融合、MEMC插帧等算法效果。
MediaTek天玑9000
MediaTek天玑9000在影像技术方面比较有。。性,采用Imagiq 790 ISP,处理速度最高可达90亿像素/秒,据称几乎是竞争对手的3倍。
集成了第5 代APU(APU590)旗舰级AI 处理器,性能和能耗表现相比上代均提升400%。以GPU+APU 协同工作,平衡功耗与画质需求。通过游戏AI 低负载技术,
GPU 只需更低的渲染资源消耗,就能获得接近原生高分辨率的画质,起到提升游戏画质同时降低功耗的作用。。。。也是目前最受用户喜爱的重点应用之一,APU590 可为抖音带来2K 超分。。体验,
画面清晰度可提升18%,让2K 。。。高清视觉体验触手可及。
爱芯元智
爱芯元智先后推出了AX630A、AX620A、AX620U、AX170A两代四颗端侧、边缘侧AI视觉感知芯片。AX630A针对智慧城市、智慧交通等密集场景,
以暗光图像。。处理能力和20路1080p 30fps的解码能力为主要卖点;AX620A则更强调这些场景下满足电池应用方案的低功耗优势,兼顾IoT、智能运动相机、手机等应用场景。
Pre ISP芯片AX170A今年3月通过手机客户验收,正式进入商用阶段,落地消费领域。这是一颗影像专用AI处理芯片,最高算力28.8TOPS,独立DDR带宽最高可达8.5GBps,
可对4K 30fps(每秒传输帧数)影像实时画质优化,配合主控芯片可实现超级夜景。。和暗光拍摄功能,完成4K夜景。。的预览和拍摄。
海思
在暗光场景,海思综合利用8级3D降噪和多光谱融合多种技术提供暗光成像品质。其中8级3D降噪技术利用8级滤波器进行降噪处理,它可以在空域滤波过程中同时实现图像去噪和增强,
以及在时域滤波过程中混合两种不同的时间模式。8级3D降噪技术还包含两个用于细节增强的IE模块和一个锐化模块,可以在实现更强的去噪的同时,保留并增强更多的图像细节。而多光谱融合则通过红外补光,
在ISP将可见光、850nm、940nm等常见光谱融合,在不增加光污染的同时,最终使图像效果达到暗光全彩,细节纹理丰富,过曝区和非过曝区准确处理。
此外,市面上还有搭载海思Hi3559A等芯片的AI算力盒子,这款芯片深耕于高性能影像处理,通过DSP可以加速。。解码,且拥有NNIE来支援深度学习神经网路,
可以做到影像大解析度的分析以及高速的资讯交互传输,适合智慧安防及智慧零售等相关影像视觉AI应用。
国科微
国科微2015年进入安防IPC领域,正逐步构建安防前后端全系列布局。基于新一代AI ISP引擎,国科微最新推出高端IPC SoC GK7608。面对夜间彩色成像难题,
GK7608引入“黑白彩色双光融合”技术,无需补充白光,在夜晚仍可获得光彩鲜艳的图像,为客户提供高质量的低噪全彩方案。GK7608搭载高算力双核NPU实现多个神经网络并行运算,
可应用到200个人/车的高密度场景,消除高密度场景盲区。
顺应智能化和超高清发展趋势,NVR芯片必须支持更多的接入路数,具备更高的清晰度、集成智能分析能力。国科微NVR SoC GK7618可同时解码24路1080P30 。。,
集成多核处理器和图像分析处理器,支持后端多种智能算法应用,提供高性能、智能化、易开发的NVR方案。
瑞芯微
瑞芯微三大类视觉芯片包括智慧视觉方案RV1126和RV1109、AIoT平台RK3568、边缘计算高性能平台RK1808和RK399Pro,可满足不同场景的算力需求。
基于自研的ISP 2.0技术及NPU性能,RV1126及RV1109适用于智能网络摄像头IPC、电池IPC/智能门铃、门禁/闸机、智慧屏摄像头及车载视觉等应用场景。
RK3568主要面向网络。。录像机(NVRXVR)、云终端、物联网网关、智能闸机/门禁等领域。采用四核A55架构CPU,G52 GPU;内置NPU,可提供1T算力。内置独有的ISP图像处理器,
支持8M处理能力,强大的HDR,支持畸变矫正、去雾、噪点消除等功能。RK3399Pro和RK1808是瑞芯微第一代内置有NPU的高性能人工智能处理器,算力3T,
应用于各类对算力有较高要求的嵌入式智能产品。
君正
视觉AI应用协处理器T02拥有8T计算能力,全速运行情况下功耗1.5W,可以搭配各大平台实现。。结构化——车牌、车型、人脸、人形,完成检测及分析,用于平安城市、电力、学校等多种安防项目中。
最新一代智能。。SoC芯片T31系列采用22纳米工艺,拥有1.8G主频,最高支持500万25帧。可在设备端集成君正的系列深度学习算法,包括深度学习的人形、人脸、车牌的检测和识别。相较于传统的CV算法,
君正深度学习算法在复杂环境如遮挡、大角度等场景下更准确,解决了CV算法的痛点,赋能端级AI,主要应用包括智能门铃、HIVE智能卡片机、热成像与人脸识别一体机等。
全志
全志科技最新发布了V853多目异构AI视觉芯片产品,采用三核异构设计,包括Arm Cortex-A7主核、RISC-V协处理核与AI NPU。其中,
Arm Cortex-A7主核可适应于兼容各类应用开发调试,RISC-V协处理核重点负责各类传感器场景,提高实时响应速度,AI NPU则专注解决复杂多变的视觉检测识别场景,
其检测识别帧率相较于传统CPU方式可最少提升20倍以上。三核异构解决了传统单核面对复杂视觉场景体验不佳的痛点问题。这款芯片已进入量产阶段,多个目标细分市场客户正在进行产品方案开发和优化工作,
不久即将面市。
嘉楠
勘智K510是嘉楠公司推出的第二代AI边缘侧推理芯片,提供高性能的图像及语音处理能力。K510-CORE是核心模组,板载一颗K510芯片,CPU采用双核64bit RISC-V架构,
K510搭载自主研发的第二代神经网络处理器KPU2.0,采用计算数据流技术,算力较上一代提升3倍同时降低功耗。板载内存为512MB LPDDR3@1600MHz。
支持两路MIPI串行图像输入和一路DVP并行图像输入,支持1路MIPI图像输出。可用于工业/专业相机、3D识别模组、考勤门禁门锁智能终端、AI教育开发板/机器人等。
云天励飞
云天励飞嵌入式视觉AI大脑芯片DeepEye1000是一款异构多核视觉分析SoC芯片,内嵌自定义指令集神经网络处理器,可广泛用于摄像机以及数字城市、新零售等场景。
针对机器人市场,云天励飞基于DeepEye1000打造了Mini PCIe AI加速卡,能够快速满足机器人厂商对现有产品和方案智能升级的需求。
应用云天励飞DeepEye1000的厂商不仅能够直接应用云天励飞自研的上百种计算机视觉算法,也能够通过云天励飞的开放的工具链,搭载自研或第三方厂商的算法。
亿智电子
亿智电子SH系列AI芯片,支持基于深度神经网络的指尖识别、文字识别(OCR)、手势识别、人形跟踪、人脸检测、人脸识别、骨骼分析等智能算法,为智能云台、扫译笔、消费和办公场景摄像头提供AI算力。
SV系列AI芯片主要面向视像安防场景,集。。脸识别、口罩识别、支持红外测温等功能,实现无接触式测温、考勤、鉴权等功能,广泛应用于考勤门禁、AI-IPC等。
在汽车电子领域,SA系列的AI芯片集成高级驾驶辅助系统(ADAS)、驾驶员行为监控(DMS)、盲区检测(BSD)等智能算法,
应用于AI行车记录仪、智能部标机、电子后视镜、智能车载摄像头等智能车载电子产品。
清微智能
清微智能TX510是一款面向IoT设备的超低功耗视觉处理芯片,基于可重构计算架构,内置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神经网络,
可实现人脸识别、物体识别、手势识别、目标跟踪等功能。清微智能的可重构技术通过实现“软件可编程、架构能变换”的能力,在同等功耗下具有更强算力,并具有低成本、应用开发简便等特征。
TX510芯片的AI算力为1.2T(Int8)/9.6T(Binary),峰值功耗小于450mW,启动时间小于200ms,AI有效能效比达5.6TOPS/W。支持3D结构光,
支持3D活体检测、红外活体检测、可见光活体检测等,可以抵御照片、。。等二维攻击,面具等三维攻击。可广泛应用于智能安防、金融支付、机器人、航空航天等多种领域。
雄迈
XM530BX0-LP1 是一款多功能高效的网络。。处理器芯片,包含了雄迈第三代ISP处理技术,相比传统的ISP除了功能,还支持透雾、宽动态、以及RGB-IR等新一代特征。
同时该芯片还支持H.264/H.265,MJPEG等。。、图像压缩编码及。。传输,能够高效地完成图像编码及传输。ISP图像处理具有最大300W 像素(2048*1536)图像处理能力,
支持bayer图像输入,支持MIPI CSI接口输入。可方便应用于。。监控,网络处理等方面的应用。
知存科技
WTM8000系列是一款针对。。增强处理的存算一体AI处理芯片,可实现基于AI的各种。。增强处理,包括物体识别、分类检测,以及。。增强等算法,
适应于各种高能效复杂边缘计算场景;能为。。显示提供4K/8K@60/120FPS 的插帧、超分、HDR宽动态和降噪能力;能为AI-ISP提供4K@60FPS的高能效NPU及高清。。增强能力,
例如HDR宽动态、降噪处理等。 WTM8000系列产品通过3D IC融合高能效存内计算与先进逻辑工艺,实现高算力、低功耗与高性价比的AI解决方案。
晶视智能
晶视智能CR182x系列芯片采用平头哥RISC-V C906内核,是一款定位于泛安防市场的轻智能AI视觉芯片。该芯片具备0.5 TOPs算力,支持2路MIPI或者DVP。。输入,
最大分辨率2880*1620@30fps,内置DDR以及百兆MAC PHY。这款芯片除了采用双核RISC-V,还集成了晶视智能自研的TPU、ISP,
在9X9平方毫米的小封装尺寸上提供双摄+屏显+内建DDR的紧凑设计。
酷芯微电子
酷芯AR9201以自研ISP边缘端芯片技术加。。解码器完成高清图片和影像传输,支持超低延时基带芯片补足5G通讯、CPU算法调度和4颗DSP处理全向视觉避障信息,集通信、图传、避障、算法调度于一体。
针对无人机应用,酷芯端侧AI SoC芯片包括影像视觉和机器视觉功能,用于目标检测、识别、分析、跟踪、三维重建等。目前,酷芯影像及智能视觉处理芯片已历经一代AR9201、二代ARD33和AR9341,
将在未来发布三代AR9521和AR9541。
地平线
地平线旭日3系列AIoT芯片有旭日3M和旭日3E两个型号,分别应对不同AI算力的需求。旭日3系列能够接入4到8路摄像头,摄像头分辨率可支持最高1200万像素,硬件支持多摄像头之间的精确同步,
也可支持对于摄像头进行校正,内置的高性能ISP,可以进行高效能的图像处理,得到清晰、高质量画质,再加上高性能低带宽的特性,旭日3系列能够支持智能NVR、DVR在车载里面的环视,以及各种常见的视觉应用。
智能驾驶芯片方面,地平线产品也是由视觉处理向多传感器数据融合方向发展。征程5芯片可实现传感器融合,算力/功耗达到96TOPS/20W。
写在最后
AI催生了新的视觉应用,也颠覆了传统的视觉设备。
由于AI的出现,处理器架构已经发生了翻天覆地的变化,把算法和处理器进行联合优化已经成为重要趋势。跨界阵营的扩大,也将继续延伸AI视觉应用的多样化功能,创造出更多更为贴近用户需求的产品。
据Counterpoint数据,2023 年由SoC 驱动的具有专用AI核心的智能手机的比例预计将超过75%,而2020 年时这个数字仅约为35%。未来1-2 年,
独立的AI 核心不仅会运用在旗舰机、高端机上,还会在主流机、入门机中得到大量普及。
智能家居方面也值得期待。视觉和传感交互的应用有望成为语音之后智能家居新的增长点,智能家居设备将向多模态交互发展,进一步催生可移动性产品的发展。更多的智能家居细分场景以及单品点位将持续爆发,
尤其是围绕安全需求的单品与系统,将会更加具有前瞻性与突破性。
在工业领域,AI视觉已被誉为工业之“眼”,正逐步代替人眼,深度赋能智能制造。同时,在汽车智能化的趋势下,AI视觉也已经围绕舱内智能、ADAS等应用展开竞争。
我们已经进入了海量数据爆发的时代,端边云协同的AI视觉产业正在形成,这对算力、算法、数据、模型等又提出了新的要求。AI视觉已经在工业、消费、泛安防等领域逐步实现商用价值,
未来也将继续在更多领域步入规模化落地应用,国产AI芯片也将迎来新的发展机遇。