这两年AI相机成为行业热词,但实际上AI相机早已经不是全新概念。从行业上说,AI相机不仅需要智能手机厂商在交互和娱乐上进行优化,更需要芯片厂商在底层对算法、ISP等持续更新。近日我们注意到芯片厂商联发科在力推“真AI相机”解决方案,其切入点主要是从大像素CMOS传感器+AI性能+芯片层的三核ISP技术这三大要素,而随着联发科对真AI相机的发力,参考此前它的市场策略来看,笔者认为很有可能会引发智能手机接下来在AI拍照上的新体验。
传统AI相机拍照方案:各家思路不同,缺乏统一的标准
在此之前我们先来看看传统智能手机在拍照上的一些思路。目前为了实现拍照的画质提升,不少手机厂商都会加入所谓的多重拍摄、场景自动识别等,希望能以算法来加强成像质量。通俗地说,就是手机在拍照时,会默认拍摄很多张照片,然后从多张照片中进行画质、色彩、噪点的计算以及位置的筛选,然后将有瑕疵的部分用没有瑕疵的那一帧进行位置替换,经过反复加权、替换,就得到一张相对干净的照片。
这种智能合成的处理方式固然能对画质质量起到一定的增强,但其实最终成像的照片是由多个帧数的图像合成的,所以很可能会因为手机的拍照素质不同、算法不同,且拍照场景的因人而异,导致AI成像的效果天差地别。所以虽然每家都在谈AI相机,但其实是“各扫门前雪”,很难有一个统一的标准。从目前来看,AI相机的基本硬条件至少需要一个大尺寸的镜头传感器,毕竟传感器大小决定了有多少光被捕捉。
常见几款智能手机的摄像头传感器。(图/网络)
前几年手机镜头的传感器基本上都还是是IMX363、IMX380等,所以大家的表现相差无几。而这几年更新到IMX519、IMX586、IMX600等系列后,成像素质得到明显提升,而这背后其实就是来自于传感器自身的不断进化,所以抛开传感器来谈AI相机并不现实,从行业知名DxOMark图像实验室这两年发布的数据来看,要达到真AI相机的效果,其传感器的尺寸至少要1/2.3以上,像素大小满足1.55um以上(基本是要以IMX380为标准),目前能满足的产品其实并不多,例如华为P20 Pro、荣耀V20、小米MIX3等几大当红产品,所以未来的真AI相机其实在一定程度上将会推动智能手机的拍照硬件提升。
AI图形增强,强大算力和智能算法在拍照上的智能应用
不过由于相机传感器本质上也如同CPU般,同样面临硬件能力增长匮乏的问题,所以不断升级传感器来增强拍照并不是一个切实可行的方式。而在目前AI算力大幅提升的环境下,使用AI进行图形智能化增强,在结合深度学习和大数据,其效果已经比传统的传感器甚至是ISP/DSP优化更加出色,而这也就是联发科P90的真AI相机的思路。
诸多数据显示,联发科P90的AI运算性能已经高达1165 GMACs (每秒可执行11270亿次定点乘累加运算),苏黎世跑分25645分,大大超越了同级别的7纳米竞争对手。而凭借联发科P90的APU 2.0强大算力,用户在暗光环境下拍摄照片时产生的画面偏暗、噪点多等问题,都可以通过人工智能学习模仿高画质数码相机的成像特性,通过算法将周遭环境噪点进行覆盖,提升背景光特征,实现了类似传统相机ISO降2-3档的效果,在抓拍画质上藉由3毫秒水准的曝光时间,最大限度的保留了原有的细节纹理和画面纯净度,使画面品质得到整体提升。
目前相机在ISP、DSP和AI人工智能上的共同协作算法。(图/网络)
所以未来当你使用helio P90的手机进行夜间拍照时,AI会预先分析背景的物体和光线,显示锁定拍照主体来保证整体效果,紧接着开启AI对画面噪点和明暗度的调整,在你点击拍照的同时,实际上系统已经预先完成了大量的画面计算和噪点分析,并进行智能化像素补充,实现AI降噪的过程。当然同样的还有夜间抓拍,AI会辅助进行多张图片的拍摄,从而分析动作、画面明亮度、阴暗细节等,自动补充合成为一张最稳定和纯净的动作抓拍,强有力的AI算力显然在背后提供了强有力的支撑,而这也进一步要求未来具备“真AI相机”属性的设备至少要在苏黎世AI跑分的第一梯队,即AI算力要大于21000分。(目前麒麟980、高通855均在这一分数之上)
图形信号处理器的进化:多核ISP成趋势
目业内对照片后期优化的做法大部分是通过ISP(图像信号处理器)和DSP(数字信号处理器)以及软件算法的多方配合形式来实现,其中ISP主要就是针对曝光、白平衡、色彩校正等进行矫正处理,而在ISP在处理完数据后,会将其转交给DSP进行图形计算负载,这里就包括针对图形部分的增强处理,例如强化暗部细节、图片合并执行等,可以接管原本属于CPU或GPU处理的工作,并降低功耗。
相机的常见标准作业流程,ISP在其中扮演了相当重要的角色。(图/网络)
有了AI的特殊加持外,多核ISP也是真AI相机的一个趋势。例如目前联发科Helio P90就首创三核ISP技术和双核APU技术,可同时开启三颗ISP,实现最高4800万像素广角+1600万像素超广角+800万像素变焦三颗摄像头的搭配配置,并进行三焦段光学变焦的无缝切换,而多项技术的堆叠,也让P90大幅提升了夜间降噪的技术,例如Helio P90 可以使信噪比提升 25%,大大增强了出片质量。
目前消费者已经愈发看中AI相机的具体实际表现,而联发科P90的“真AI相机”理念实际上给行业提供了一个好思路,即传感器、AI算力和ISP三者缺一不可。我们大胆猜测,明年即将兴起的4800万超高清摄像头,就很有可能会配合联发科Helio P90的真AI相机技术,掀起一轮拍照画质提升的革命,而未来真AI相机也势必成为智能手机梯队阶层的分水岭。