算法供应商需要根据手机厂商的需求,针对不同搭配组合的双摄模组进行针对性的双摄算法设计和优化,实现背景虚化、暗光高清、光学变焦等功能。最后手机厂商联合模组厂、算法供应商等进行拍照效果的联合调优。双摄算法门槛极高。主要体现在如下几点。
1.算法研发壁垒高。双摄算法涉及计算摄影学、计算机视觉、光学、摄影美学等多个交叉领域的融合,属于新兴的技术,很多时候是摸着石头过河,既要紧跟前沿学术研究,又要脚踏实地产品化落地。另外对算法的鲁棒性要求极高。一方面由于手机出货量巨大,且内部集成了成百上千种元器件,很难保证同一型号所有摄像头模组硬件参数一致;另一方面,用户拍照场景(环境光照、运动状态、角度、距离等)千差万别,这就要求算法能够在许多不利环境下仍能正常工作,这对算法鲁棒性提出了极高的要求。
2.工程化应用要求高。手机产业对时效性有非常苛刻的要求,如果手机双摄开发流程出现问题,算法供应商要能够第一时间帮助客户定位问题解决问题,这需要非常紧密的上下游产业链协同合作和丰富的行业经验。此外目前大部分双摄旗舰机都是由算法供应商根据不同的硬件进行高度定制化开发,需要能够根据客户的需求进行快速的调整和优化,尤其是手机上市前,算法提供商需要具备一只强大的现场支持工程师团队。
3.产业链合作要深入。算法提供商提供的其实是一整套双摄技术解决方案,算法本身是基础,此外还需要对处理器平台厂商的处理器架构非常熟悉,形成战略合作,从而将算法融入处理器平台,此外需深入了解手机厂商的需求,打通处理器平台厂商和手机厂商之间的快速通道,帮助客户将双摄技术快速落地。
当前,全球能够提供核心双摄算法的公司并不多。苹果、华为都有软硬件闭环的生态,所以有能力通过收购或者自研的方式组件自己的算法团队。除了苹果华为之外,第三方开放算法供应商ArcSoft在安卓市场占据绝对的领导地位,具备所有双摄组合的解决方案,主流手机八成以上的安卓旗舰手机都采用的ArcSoft的双摄方案。以色列的算法供应商Core photonics在竞争激烈双摄领域已逐渐被挤出市场。台湾的华晶科技(Altek)既做模组也做图像处理ASIC,其双摄算法效果比较一般,主要搭配硬件面向低端手机市场出售。
2016-2018双摄全面爆发,产业链基本定格
双摄已进入标配期,产业链也基本定格。根据IHS Markit 提供的数据,2017年全球手机出货量市场份额如下。中国手机厂商华为、OPPO、vivo、小米的总市场份额约等于三星和苹果的市场份额之和。而双摄在中高端设备渗透率已超过50%。
2017年全球top7手机厂商对应的双摄算法公司、处理器平台厂商、相机模组厂商如下所示:
目前,双摄算法主要分为以下几大阵营。
1、 苹果依靠收购的Linx公司和自身多年的图像处理技术的积累,在iOS系统上形成了闭环的生态系统。其推出的双摄手机均为后置Wide + Tele组合。
2、 安卓旗舰双摄手机市场,华为凭借内部算法团队和海思麒麟处理器形成了类似苹果的生态闭环。其推出的双摄手机几乎都是RGB + Mono组合。
3、 除了华为外的其他安卓手机阵营。
ArcSoft虹软是双摄算法供应商的引领者,主要面向中高端手机,估计其全球主流双摄手机出货量已超过80%。虹软提供Wide + Tele、RGB + Mono、RGB+RGB全部的双摄组合解决方案,并且和平台厂商有非常深入的合作,产品落地能力极强,行业口碑很好。
低端双摄手机方面,手机厂商为了节省成本,一般不会单独定制双摄算法,主要是使用平台厂或模组厂提供硬件时搭配的双摄算法,效果非常普通,但是价格便宜。
手机摄像头模组的核心零部件主要包括:图像传感器(CIS)、镜头(Lens)、音圈马达(VCM)、红外滤光片(IRCF)等。主要供应商都集中在亚洲的日本、韩国、中国大陆、中国台湾地区。根据TrendForce发布的手机产业链市场数据, 2017年CMOS传感器的市场份额
最大,之后依次是模组、光学镜头、音圈马达和滤光片。 双摄应用后,模组封装技术难度增大,镜头要求更高,因此其相应产业链的附加值提升速度已加快。
图像传感器属于集成电路芯片范畴,这一领域Sony、Samsung是最重要的两家公司,其产品主要面向中高端手机,两者市场份额都占三成左右,总共占据全球一半以上的市场。排名第三的OmniVision已于2016年初被中资集团收购,然后是韩国的SK hynix和中国厂商格科微(GalaxyCore),后者主要面向中低端产品。
双摄模组厂供应商非常多,位于第一梯队的主要有:舜宇(Sunny)、欧菲光(O-Film)、三星电机(SEMCO)、LG Innotek(苹果手机供应商)、丘钛(Q-Tech)、信利(Truly)、光宝(Liteon)。下图是2017年手机摄像头模组厂市场占有率(数据来源:TSR)
双摄镜头供应商方面,台湾的大立光电(Largan)是绝对的龙头企业,2017年出货量占全球市场超过3成份额。此外,出货量较大的还有中国大陆的舜宇(sunny)、韩国Sekonix等公司。
双摄音圈马达供应商主要有:日本的Alps、TDK株式会社、三美电机株式会社(Mitsumi)、韩国的Jahwa几个厂商。
当前双摄处理器平台厂商主要有:高通、三星、苹果、华为海思、联发科。
2018-2020手机摄像未来趋势:向多摄与深摄蔓延
2017年是双摄手机爆发的元年,如今各大手机厂商旗舰机不管是前置还是后置基本都是双摄配置,并且随着双摄成本的下降,双摄手机必然将下沉到千元机。接下来,手机摄像头如何发展,是摆在业内人士的一个问题。对于行业来说未来有挑战更有机遇:
1、多摄像头手机方案
双摄的成功,自然会让人想到使用更多的摄像头的方案,第一个尝试该方案的是华为P20 pro,该机后置采用RGB+Mono+Tele的三摄像头配置。从镜头的功能上来看,既可以利用RGB+Mono的组合实现超级夜景拍摄,也可以利用RGB+Tele实现光学变焦的能力。通过三个镜头的视觉差也可以获取拍摄对象的景深,实现大光圈的效果。通过实际测试,华为P20 Pro三个摄像头并不能同时工作,只是根据不同的应用场景进行两两摄像头的组合,这种组合本质上是实现可变更组合的双摄。
将来可能出现三个及以上更多摄像头(多摄)的方案,将不同的多摄像头搭配可以组合出很多的玩法,将不同组合双摄的优点集中在同一款手机上,所以实用性很强。据悉,下一代苹果手机也很可能采用多摄像头的方案。
2、高倍光学变焦
光学变焦在拍照中是非常刚需实用的功能,但目前基于W+T的双摄手机一般实现的是2倍的光学变焦,和单反甚至带伸缩变焦镜头的卡片机(至少5倍以上的光学变焦)相比,仍然有较大差距。因此,手机产业链对光学变焦非常重视,在未来的一两年内手机上很可能会有以下两种高倍光学变焦方案
1)多个(至少3个)定焦镜头组合实现高倍光学变焦。本质上和之前双摄的光学变焦原理类似,但是镜头的增加会提高硬件成本,对模组精度要求也较高,再考虑到光学防抖,对算法供应商来说也是一个很大的挑战。
2) 潜望式光学变焦。其原理是在手机机身内部放置一个和手机屏幕垂直的内驱光学变焦模组,然后利用折射镜接收外界光线,这相当于让复杂的光学变焦系统与机身实现了平行设计,不影响手机本身的厚度,而且和单反或伸缩式卡片机相比,可以更好的防尘防水。
3)不过,潜望式光学变焦也有很多缺点:一是复杂的 光学变焦系统对模组制造及手机装配有非常苛刻的要求,二是后期算法的调教也比较困难。对模组厂和算法 供应商来说都是很大的挑战。
3、搭配深度相机
1)结构光方案深度相机
去年苹果发布了具备前置结构光深度相机的重量级产品:iPhone X,其杀手级的应用就是携带了 三维人脸识别技术的Face ID。其中结构光方案采用伪随机散斑,该核心技术由苹果公司收购的PrimeSense公司提供。今年,小米、OPPO也推出了前置结构光深度相机的手机。
那么将来会不会前置结构光成为流行趋势呢?这里要打一个大大的问号。主要有以下几个考虑:
(1)苹果的结构光软硬件方案技术壁垒非常高,处于垄断地位。就全球手机产业链来说,目前能够提供足够精度的结构光方案只有苹果自己的供应链。除苹果外的第三方供应链目前精度还相差甚远,成本也居高不下。
(2)目前安卓手机前置结构光方案和苹果的技术方案 可能存在专利纠纷,一旦苹果打专利战,安卓阵营胜算不大。
(3)结构光方案深度相机应用场景比较单一,主要集中在Face ID、动画表情、人脸光效及人脸相关应用,未来可扩展应用空间有限。
(4)结构光方案深度相机需要发射器和接收器之间保持一定的距离(基线),模组占用空间较大,这对于空间非常有限的手机来说是很大的劣势。
总之,结构光方案短时间内仍然掌握在苹果手中,安卓阵营话语权不大。发展空间有限。
2)飞行时间方案深度相机
飞行时间(Time Of Fly,简称TOF)方案的深度相机在将来会有非常大的发展。和结构光方案相比,飞行时间方案有如下几点优势:
(1)TOF方案相对简单,产业链发展的比较成熟,如LG Innotek、Sunny optics、O-Film等一线模组厂都能够提供高质量模组。
(2)TOF方案不需要发射器和接收器之间保持一定的基线,甚至基线为零都可以,因此其模组体积可以做的非常小。非常适合对空间要求苛刻的手机。
(3)TOF方案可以通过发射功率控制使用范围,既适用于使用距离较近的前置三维人脸应用,也可以在使用距离较远的三维场景扫描、增强现实等领域使用,应用场景很丰富。
4、多功能摄像头技术和其他图像技术的融合
随着多摄像头与深度相机的使用,手机可获取到丰富的图像信息,通过将这些信息融合可以进一步提升暗光拍摄、逆光拍照、美颜、人像打光、HDR(高动态范围)等功能;另外,AI技术也将与其他技术一起整合,产生更好玩的拍摄功能,除了进一步提升AI解锁、AI场景识别、Animoji等功能,更多的人脸AR交互与体感交互将有可能是未来的主要方向。