芯技术 | ISP和AI ISP不是非此即彼 而是1+1＞2
智能化的社会生活场景越来越丰富，对于图像处理的要求不断提升，使得ISP（Image Signal Processor）的渗透率不断增加，担负起安防监控、AIoT 及智能汽车等领域的视频、图像的处理工作，满足不同场景的数据处理需求。与很多处理器芯片类似，ISP的发展也正在受到AI技术的深刻影响。通过AI模块的加入，结合深度学习算法，AI ISP能够对图像进行精准的处理，从而为某些场景实现更高质量的成像结果。
但AI ISP的出现并不意味着传统ISP的终结，很多应用场景依然需要传统ISP来挑大梁。在相当长的时间内，两者还将携手谱写图像处理技术的华丽篇章。
从ISP到AI ISP
作为数字图像处理中的关键部分，ISP主要用于对从传感器中读取的原始图像数据进行预处理和优化，以提高图像的质量和清晰度。它可以进行白平衡、曝光控制、色彩校正、锐化、降噪等处理，从而产生高质量的图像。
ISP在实际应用中的重要性不言而喻。对于消费电子产品而言，ISP是影响拍照和录像质量的关键因素之一。智能手机等移动设备中的ISP可以快速响应环境变化和用户需求，实现自动对焦、HDR、人像模式等功能，提供更加出色的拍照体验。
除了消费电子产品外，ISP在安防监控、医疗影像、工业检测、自动驾驶等领域也有广泛应用。在安防监控方面，ISP可以自动检测行人、车辆等物体，减少误报率；在医疗影像方面，ISP可以提高图像对比度、锐度和清晰度，帮助医生做出更加精确的诊断；在自动驾驶领域，ISP可以通过处理车载摄像头拍摄到的图像和视频数据，实现智能驾驶、车道偏离预警等功能。
不过，当面对越来越高的场景复杂度和特殊的图像质量要求时，传统ISP正面临了参数库逐渐庞大、调试困难、开发周期逐步拉长等挑战。以AI技术为辅助，通过机器学习的方法来强化ISP的功能就成为技术发展的重要方向，由此诞生了AI ISP。
利用AI算力深度学习海量场景和数据，智能调优复杂参数，输出算法模型辅助图像处理，使图像质量获得大幅改善。AI与传统ISP的结合趋势在手机中非常突出，并且也在走入安防、无人机等领域。
酷芯微电子AI IP总监沈沙指出，暗光条件下的降噪、对比度增强和场景的提亮，AI ISP在这三个方面的表现超过了传统的ISP。
在不少应用中，得到了端侧大算力的支持，AI ISP的强大功能就可以得到全部发挥，获得比传统ISP更优的效果。但这是否意味着AI ISP可能全部取代传统ISP呢？答案可能并非如此。
花开两支 各有胜场
AI ISP强大的功能也意味着更大的能耗，其训练和推理过程需要消耗大量的能量和资源。而传统ISP通常采用硬件实现，能够在低功耗下进行高效的图像处理，因此在很多通用场景下，传统ISP的功耗要远低于AI ISP。
并且，如果要用AI ISP来替代传统ISP，就需要用AI来实现端到端的ISP流水线，甚至直接对从传感器输出的原始数据进行AI算法处理。这无疑会加大芯片算力和功耗的负担。
据沈沙介绍，实际应用中，芯片算力预留上能够给AI ISP的空间较小：摄像头分辨率的选择、是否需要开启视频编解码功能满足视频的本地存储，每增加一个模块，功耗就会上升。比如，嵌入式应用中的15×15mm²封装尺寸SOC芯片，功率上限是4~5w，2~2.5w用于视频处理，2.5w用于NPU，如果功耗需要控制在2~3w，对于NPU算力就有更严苛的要求，而NPU正是AI ISP的AI核心。
另一重挑战来自对AI ISP的调教上。在这方面，传统ISP发展多年，在图像处理算法已经具备很多优势，面对碎片化场景，能够明确、精准的满足客户需求，方便具体追踪和针对性调试。与之相对，AI算法更基于模型训练，但对后期效果的调参缺乏可追踪性，对调教工程师和AI算法工程师的配合工作提出很大挑战。
即使如酷芯拥有经验丰富的图像调试工程师、图像数据集、工具链，从0开始人工完成一个好的传统ISP算法调教需要3-5天。但训练一个成熟的神经网络模型需要一个星期到一个月的时间，且无法保证训练效果，再加上对不同的镜头、传感器都需要重新训练，工作量巨大。同时，AI ISP还需要大量的训练数据和算力来进行模型训练和推理，而这些都需要较高的成本支出。
沈沙还给出两条AI ISP暂时无法替代传统ISP的理由：图像质量的好坏判断从人眼视角出发，无法清晰给出可观可追溯的方向指令；在设计和功能实现上难以兼顾多场景通用性、算法调整灵活性、芯片面积占用率、低功耗和DDR带宽需求。
“比如去除图像中的坏点，做一些简单的颜色空间转换，整体的亮度拉升，传统的ISP算法已经做得很好，业界还是倾向于对其进行保留。”沈沙因此判断，AI图像处理更适合在降噪、低光照、暗光提亮等方面，而传统ISP在正常情况下已经达到人眼视觉的效果，AI ISP将更多扮演功能补足的角色，两者将长期共存。
以具体的应用为例。在手机等消费电子产品中，对于夜视摄像的色彩还原度有较高要求，且消费者愿意为夜景和高图像画质买单，AI ISP的发展前景会更宽广。在安防等工业应用中，对夜视效果下的物体和细节识别有较高要求，对拖影识别要求较低，对产品性价比和实用性有更高要求，适合以传统ISP为主，AI ISP为辅的技术方向。
两者融合将是大趋势
AI ISP和传统ISP并不是相互对立的关系，厂商们正在努力将两者进行结合，以达到最大的组合优势。
以视频中的运动场景为例，传统ISP需要借助AI ISP技术，将运动物体、其拖影、背景做相应的识别分离，再利用传统ISP进行调试。这对于汽车电子尤为重要，因为其对产品效果和实用性有极高要求，拖影识别会影像对前方物体位置的判断，整体影响汽车行路安全性的判断。
这就是最常见的以传统ISP为主，AI ISP为辅的合作模式。具体而言，针对性场景通过图像调试工程师算法调参的方式人为把控，达到效果最优化。AI ISP主要处理超感光降噪，低照度甚至暗光场景，或针对传统ISP目前薄弱的环节，为AI ISP提供优劣对比明显的图像数据集对其进行精确训练。
根据业务发展和赛道选择，以客户对图像画质、计算精度和芯片架构为考量，酷芯选择了采用独立ISP+独立NPU的方式，并基于NPU在主流神经网络结构和算子支持上根据芯片产品的实测效果，从算法集到芯片架构集，更倾向于选择降低DDR带宽的更实用的策略。
▲深度学习与传统ISP结合，可显著降低夜间3D降噪导致的拖影，大大提升AI 识别准确度。
▲双光融合效果对比
视频画质至关重要，因此高性能的ISP也是边缘端芯片的核心技术。酷芯完全自主研发的ISP画质优异，并在低照度、高亮度差画面、快速运动画面、电子防抖等领域领先行业，在2D降噪、3D降噪、HDR、去雾、边缘增强等各方面也表现优异。比如，AR9341芯片集成了酷芯自研的第二代HiFi-ISP，具有极佳的降噪和宽动态性能；除了可见光ISP外，还集成了红外热成像ISP的功能，具有非常广泛的适应性；另外，ISP还可以与AI算法互动并自适应调整，进一步提升AI算法的运行准确度。
同时，酷芯100%自研的NPU，也在网络适配性、性能、功耗、利用率、DDR占用、量化精度等全面超越目前所有的第三方授权IP。
此外，酷芯独立开发配套的软件工具链也能为应用开发提供很好的支持。以AI支持能力为例，酷芯AR9341基于异构架构，其NPU提供有完整的工具链软件包，支持CAFFE, TensorFlow, Pytorch等主流AI框架，同时还支持业界普遍采用的ONNX框架作为中间表示层，如果客户采用了一些当前工具链尚不支持的小众AI框架，只需要转换为ONNX模型，即可采用基于图形化界面的NPU工具链，支持方案商将算法一键部署到AR9341上。
ISP的技术还在不断演进，AI的融合只是其中一个方向，还有更多的前沿课题需要研究。为此，酷芯与上海大学和复旦大学的实验室已经开展了紧密的科研合作，进行前沿技术课题的探索。
通过这种强强联合，酷芯公司内部的软件、硬件团队才能不断实现最新技术的转化，持续推出优异的产品，而公司和高校之间也形成了人才培养的一个良性渠道，为国内ISP专业人才的培养，奠定了一个坚实的基础。
关于酷芯微电子
合肥酷芯微电子有限公司（前上海酷芯微电子有限公司）成立于2011年7月，致力于成为全球智能芯片领导者。公司依托智能感知、智能计算、智能传输三大核心技术，通过自主研发芯片核心架构、核心IP，提供专用于人工智能的高性能低功耗芯片及相关工具链解决方案。产品主要应用于智能安防、智能硬件、智能车载等多个领域。
酷芯微电子总部位于合肥高新区，并在上海、成都、深圳等多地开设分、子公司。目前拥有员工逾200人，技术开发人员占比80%以上，均拥有硕士或博士学位。2016年荣获“高新技术企业”称号，2017年被认定为上海市科技小巨人，2019年入选上海市“专精特新”企业名单。
-----------------------------
页:
[1]