自动驾驶中的传感器技术17——Camera(8)

1、主流CIS厂家各自的技术特点

1. 索尼(Sony)

索尼是全球CIS市场的领导者,其技术优势主要体现在以下几个方面:

  • 技术领先:索尼在CIS领域拥有深厚的技术积累,长期占据高端市场。其2018年发布的IMX586传感器具有4800万像素,传感器尺寸为1/2英寸,支持每秒30帧的高速拍摄,性能极为强悍。

  • 堆叠式结构:索尼在堆叠式CIS技术上取得了突破,2017年成功开发了三层堆叠技术CIS,并在2021年进一步开发了双层晶体管像素堆叠式技术CIS,显著提升了图像质量与性能

2. 三星(Samsung)

三星在CIS领域同样具有强大的技术实力,其技术特点主要体现在以下几个方面:

  • ISOCELL技术:三星于2013年首发ISOCELL技术,标志着其CIS技术开始引领行业发展。该技术通过大像素战略和像素合并技术,提升了图像传感器的性能。

  • 高分辨率产品:三星推出了多款高分辨率CIS产品,如64MP和108MP的传感器,满足了高端手机摄像头的需求。

3. 豪威科技(Omnivision)

豪威科技是全球CIS领域的另一巨头,其技术特点主要体现在以下几个方面:

  • PureCel®技术:豪威于2007年推出全球首个背照式技术OIS样品,并于2013年推出基于PureCel®技术的CIS芯片,显著提升了图像传感器的性能。

  • Fabless模式:豪威采用Fabless模式,专注于CIS设计业务,将生产加工环节外包给晶圆代工厂,如台积电、中芯国际等,具备较高的灵活性和转型能力。

4. 安森美(ON Semiconductor)

安森美是全球CIS市场的重要参与者,其技术特点主要体现在以下几个方面:

  • 车规级CIS:安森美在车规级CIS市场中占据优势,其产品广泛应用于高级驾驶辅助系统(ADAS)等领域。

  • 生产模式:安森美采用IDM模式,具备设计、制造和封测一体化的能力,能够提供高质量的CIS产品。

  • 技术路线:安森美在CIS技术上不断创新,推出了多种高性能的CIS产品,满足不同应用场景的需求。

5. 意法半导体(STMicroelectronics)

意法半导体的CIS市场份额不断下降。尽管如此,意法半导体在车载CIS市场中仍具有较强的竞争优势,尤其是在汽车电子领域。

例如,其Vx5y61系列汽车全局快门图像传感器适用于高动态范围(HDR)近红外(NIR)场景,具有超低噪声特性,能有效减少NIR场景下的串扰。此外,意法半导体正在扩大其全局快门产品线,以实现收入来源的多样化,包括消费者跟踪和汽车摄像头。

2、Sony(2.1 µm pixel-pitch)

索尼的"Fuji"传感器架构采用了一种相当复杂的像素设计,实现了高动态范围。它同时采用了分体式光电二极管(PD)方法,即一个用于低照度的大PD和一个用于较高光照水平的小PD。小PD内置了一个像素内溢流电容器,以在高照度下进一步扩展动态范围。"Fuji"像素还在大光电二极管上集成了双转换增益,即一个用于中等照度的低转换增益和一个用于极低光照水平的高转换增益。

因此,这种像素架构比单次曝光的大全域像素(FWC)更为复杂,但索尼认为,这种折衷设计能获得最佳的信噪比(SNR)和动态范围。三个像素读出端同时曝光,可提供约108分贝的动态范围。通过在大光电二极管中加入额外的第二次短曝光(低增益),可以应对极高的光照,如直射阳光。据索尼称,在中等温度条件下,这种方法可实现总计130分贝的动态范围。下图再现了索尼提出的时间序列。
图1 Fuji传感器架构工作流

在输出方面,索尼探讨了如何优化图像格式以适应汽车应用,即同时生成RAW和YUV输出,既用于传感又用于查看。目前,图像传感器RAW处理流程的输出针对计算机视觉(传感)进行了优化。而针对YUV色彩感知编码的图像处理则在下游完成,且使用的是RAW输入,这并非最佳选择。通过为RAW和YUV图像处理分别集成单独且专用的ISP芯片,可以独立处理图像,提高每种用例下的图像质量,并为多种用例标准化相机系统架构。如果采用这种方法,索尼未来的汽车传感器将采用CIS(图像传感器)+ ISP1 + ISP2的三重堆叠传感器结构。
图2 3-die 堆叠,双IPS

3、Samsung(2.1 µm pixel-pitch)

三星展示了两种传感器。其中一种是3B6,这是一种300万像素(1920 x 1536)RGB图像传感器,像素间距为3微米,用于全景视图;另一种是分辨率更高的830万像素(3840 x 2160)RGB传感器1H1,像素间距更小,为2.1微米,用于前方感知和观察应用。这两种传感器均采用了三星的分体式光电二极管"CornerPixel"架构,

据三星表示,滚动快门足以满足当前高级驾驶辅助系统(ADAS)应用的帧率要求,但驾驶舱/驾驶员监测系统(DMS)用例确实需要全局快门功能。因此,据推测,上述两种传感器实际上都是滚动快门,因为三星尚未推出专用于驾驶员/驾驶舱监测的传感器。

据报道,三星目前正在研发一款1500万像素分辨率的汽车传感器,很可能是1P1型号,并且也打算用于前置感应应用。

三星的"CornerPixel"架构是一种创新的分体式光电二极管结构,旨在提升图像传感器在复杂光照条件下的成像性能。该技术通过在单个像素区域内嵌入两个不同尺寸的光电二极管,分别用于低光和明亮环境下的成像,从而实现高动态范围(HDR)和更平滑的曝光过渡。

具体来说,CornerPixel架构中,一个3.0µm的光电二极管用于捕捉暗光环境下的图像,而另一个1.0µm的光电二极管则放置在大像素的角落,用于捕捉明亮环境下的图像。这两个光电二极管在不同的曝光条件下同时工作,通过合成处理生成具有120dB高动态范围的图像。这种设计不仅提高了图像的细节保留能力,还有效减少了运动模糊,使图像在暗光到高亮环境之间的过渡更加平滑。

此外,CornerPixel技术还具备抑制LED闪烁的功能。通过延长小像素的曝光时间,可以降低LED光源频闪造成的图像残缺现象,从而提供更准确的图像。这一功能对于自动驾驶汽车尤为重要,因为它能够确保在夜间或隧道等复杂光照条件下,图像传感器仍能提供清晰、稳定的图像。

三星的CornerPixel技术不仅提升了图像传感器的性能,还为自动驾驶汽车提供了更安全的驾驶体验。例如,ISOCELL Auto 4AC传感器采用了CornerPixel技术,已通过AEC-Q100 2级认证,并广泛应用于前置、环绕和后视摄像头系统。随着自动驾驶技术的不断发展,CornerPixel架构有望在未来的汽车图像传感器领域发挥更大的作用。
图3 三星CIS

4、豪威科技(2.1 µm pixel-pitch)

在分辨率方面,OmniVision预测自动驾驶/自动驾驶车辆(ADAS/AV)摄像机的分辨率将不断提高,可能高达1500万像素。对更高分辨率的需求有两方面原因:首先,是为了在更远的距离上最佳地检测物体。这在高速行驶时尤为重要,例如在高速公路上。

第二个因素是视场角的增大。原始设备制造商(OEM)对更大视场角的摄像头越来越感兴趣,以便在未来限制摄像头的总数。更大的视场角意味着需要更高的角度分辨率,因此需要更高的CIS分辨率。对于环视系统,OmniVision还预测了一种趋势,即分辨率将超越当前的300万像素。尽管如此,当前的视场分辨率主要由车内显示屏的分辨率决定,但未来更大的显示屏将需要更高的CIS视场分辨率,超过300万像素。

除了CIS(图像传感器)分辨率的提升,汽车传感器的输出帧率预计将从当前的约30帧/秒提升至45帧/秒甚至60帧/秒,具体取决于分辨率,但这一提升对于实现4级/5级自动驾驶尤为必要。CIS分辨率和帧率的提高意味着未来汽车成像的整体数据速率将大幅增加,这将需要更强大的处理能力。更重要的是,这将要求数据质量更高、不确定性更低。换言之,摄像头层面的片上功能、处理和信息审查越多,整体系统性能就越好、越快。

为了实现这一功能,OmniVision还预测了图像传感器集成度的提高,以及从当前的ISP芯片同时集成模拟和数字电路的2芯片堆叠成像器,向模拟和数字逻辑分离到专用芯片的3芯片堆叠的转变。这将优化每个芯片的工艺技术,同时减小芯片尺寸和功耗。
图4 Resolution 和FPS在提高
图5 OV的3-Die Stack方案

5、Onsemi(2.1 µm pixel-pitch)

其新型汽车传感器(据报道为AR0823)的分辨率为830万像素,像素间距为2.1微米。该传感器集成了LED闪烁抑制(LFM)技术,适用于高级驾驶辅助系统(ADAS)/自动驾驶(AV)应用。

汽车级高级驾驶辅助系统(ADAS)应用需要800万像素级别的分辨率,以便近距离分辨如砖块或石头等小型物体,或在数百米外的距离分辨如骑自行车的人或行人等较大物体。在高动态范围(HDR)方面,AR0823采用了安森美半导体的超曝光(SE)像素技术,该技术配备了一个非常大的全阱容量(FWC)光电二极管和一个像素内溢流电容(OFC),可提供业界报告的最高整体动态范围之一,即150分贝。

这种动态范围是通过两次连续(交错)曝光实现的,第一次"长"曝光捕捉较低的照明范围,提供约110分贝的动态范围,而第二次"短"曝光捕捉较高的照明范围,并提供剩余的约40分贝的HDR。安森美半导体报告称,在整个动态范围内图像模糊最小,且具备完整的LFM能力。LED闪烁主要通过第一次曝光捕捉,在该曝光中实现了完整的LFM能力。

安森美半导体将这款2.1微米像素间距的高全宽全色(FWC)+全色(OFC)传感器的性能与竞争对手的2.1微米和3.0微米分体式光电二极管像素设计进行了比较。在特定的光线和温度条件下,安森美半导体报告称,单次超曝光技术在整体信噪比(SNR)和调制传递函数(MTF)方面表现更优,从而能够在极端情况下实现更好的目标检测。

安森美半导体公司(Onsemi)还在研发一款分辨率较低、像素为300万的传感器,该传感器同样具备150 dB的动态范围,预计很快就会发布。AR0823和这款新型传感器都采用了滚动快门技术,据安森美半导体公司介绍,该技术可提供高达约60帧/秒的输出,足以满足当前汽车场景的需求,同时避免了全局快门像素的复杂性和成本。

根据安森美半导体的说法,汽车摄像头的要求取决于要检测的物体范围和检测标准。对于物体识别,整个物体在高对比度图像中需要8个像素,而物体识别则需要16个像素。鉴于ADAS摄像头需要检测到道路上小至石头或砖块的物体,因此ADAS应用需要大约800万像素的分辨率。但这取决于所用摄像头的视场(FOV)。较低的视场可以适应较低分辨率的CIS,但视场约140度及以上的较高视场摄像头可能甚至需要更高的分辨率。

由于大多数原始设备制造商(OEM)更倾向于使用光学格式约为1/3英寸至1/2英寸的小型传感器封装尺寸,因此选择的像素间距必须满足此类标准,同时确保在较低照度下不失灵敏度。除了高级驾驶辅助系统(ADAS)应用场景外,安森美半导体公司(Onsemi)还在将其约800万像素的分辨率传感器应用于驾驶室内的驾驶员监控和乘员监控系统(D/OMS)。
图6 Onsemi HDR 方案

6、STMicroelectronics

其最新发布的舱内传感器VB1940/VD1940,该传感器采用堆叠式背照设计,具有4×4 RGB-NIR模式(NIR滤镜可增强940nm波长的检测能力)。其主要应用场景为驾驶员监控和舱内监控。

在驾驶员监控方面,该传感器性能表现出色,即使在远距离且受试者佩戴眼镜的情况下,也能有效且快速地检测到目光注视。VB1940 / VD1940还具备两种快门模式:全局快门用于检测快速移动(如目光注视),滚动快门则适用于其他车内乘客监控场景。其分辨率为510万像素,像素间距为2.25微米,在滚动快门模式下,线性动态范围可达100分贝。图像信号处理器(ISP)提供片上拜耳化或近红外(NIR)升级功能。

意法半导体还展示了VB56G4A,这是一款150万像素的单色(近红外)传感器,像素间距为2.61微米,采用堆叠式背照技术并配备全局快门。据意法半导体介绍,VB1940 / VD1940和VB56G4A传感器均采用电压域全局快门技术,在电荷到电压转换后存储光生信号。

在CIS中实现了一种用于像素存储的金属-绝缘体-金属(MIM)电容器。在此,我们特别考虑了降低CIS中MIM存储电容器的寄生光敏性(PLS),以实现高效的快门功能。据意法半导体公司(STMicroelectronics)称,这有助于降低堆叠式ISP中实现全局快门存储相关的传感器成本。
图7 STMicroelectronics In-Cabin DMS / OMS with a 4×4 Pattern RGB-NIR and on-chip ISP Bayerization or NIR Upscale.

7、市场份额总结(2021)

图8 CIS供应商份额参考

相关推荐
NAGNIP6 小时前
一文搞懂深度学习中的通用逼近定理!
人工智能·算法·面试
冬奇Lab7 小时前
一天一个开源项目(第36篇):EverMemOS - 跨 LLM 与平台的长时记忆 OS,让 Agent 会记忆更会推理
人工智能·开源·资讯
冬奇Lab7 小时前
OpenClaw 源码深度解析(一):Gateway——为什么需要一个"中枢"
人工智能·开源·源码阅读
AngelPP11 小时前
OpenClaw 架构深度解析:如何把 AI 助手搬到你的个人设备上
人工智能
宅小年11 小时前
Claude Code 换成了Kimi K2.5后,我再也回不去了
人工智能·ai编程·claude
九狼11 小时前
Flutter URL Scheme 跨平台跳转
人工智能·flutter·github
ZFSS11 小时前
Kimi Chat Completion API 申请及使用
前端·人工智能
天翼云开发者社区12 小时前
春节复工福利就位!天翼云息壤2500万Tokens免费送,全品类大模型一键畅玩!
人工智能·算力服务·息壤
知识浅谈12 小时前
教你如何用 Gemini 将课本图片一键转为精美 PPT
人工智能
Ray Liang13 小时前
被低估的量化版模型,小身材也能干大事
人工智能·ai·ai助手·mindx