索尼的相机传感器已经在许多高端智能手机中使用，但其新的 AI 图像传感器有望让事情变得更加智能——而且高端功能也更便宜。索尼 IMX500 不仅包括一个能够处理 4K 分辨率视频的 12.3 兆像素 CMOS，还包括一个可以进行机器学习等的专用 AI 处理器。
通常，图像传感器就是：捕捉图像的传感器。这些剧照和视频的实际情况取决于设备的其余部分，我们已经看到一些手机制造商开发了自己的专用协处理器，专注于处理镜头、应用基于 AI 的 HDR 和其他效果，并使用机器学习来识别场景和人物。
索尼 IMX500 承诺做到这一切，但在单个传感器芯片本身上。像素芯片堆叠在逻辑芯片之上，逻辑芯片不仅做常规的图像传感器操作，还具有用于图像信号处理的ISP，以及专用于AI信号处理的独创DSP。它也有内存，专供 AI 模型使用。
人工智能任务的基准现在是一种灵活的东西，比较机器学习性能可能很棘手。索尼表示，IMX500 可以为 MobileNet V1 进行 3.1 毫秒的处理，例如，它进行物体识别。整个事情可以在单个视频帧的空间内完成。
显然，这不是我们第一次看到 AI 用于摄影和视频。不过，索尼对新传感器的论点是，它集经济性、安全性和性能于一身。基于云的处理相对便宜，但您必须将内容传入和传出云，并且存在隐私问题。正如我们已经看到 Apple、Google、Huawei 和其他公司所尝试的那样，使用专用协处理器在设备上进行处理更快、更安全，但它增加了成本。
索尼的解决方案保证了性能和隐私。它也将是灵活的，因为设备制造商将能够制作自己的 AI 模型并将其加载到嵌入式存储器中。
IMX500 预计不会出现在智能手机中，至少最初不会。索尼最初的目标受众是工业和特定任务的相机，例如零售场所或工厂。例如，装有人员跟踪 AI 的基于 IMX500 的摄像头可以发现有多少人经过商店，并分析哪些区域最受欢迎。在工厂中，它可以跟踪产品并突出生产或人员配备中的问题。
与此同时，对于联网的安全摄像头，传感器可以装载经过训练的人工智能，以区分动物和行人，或者突出显示送货卡车何时停驶而不是刚刚驶过。这可能会产生更有用的通知，并降低云处理成本。
相机本身可以以高达 60 fps 的速度拍摄 4K 视频，或以高达 240 fps 的速度拍摄 1080p 视频。如果你想同时进行完整的 AI 处理，它会下降到 30fps。对于静止图像，它最多可以拍摄 4056 x 3040 的图像。
索尼表示，它上个月开始发货裸芯片样品，预计从 6 月开始发货。它也可能引起索尼 AI 团队的注意，该团队是该公司最近成立的部门，旨在将传感器技术应用于人工智能、机器人技术和摄影。第一批使用 IMX500 实际投放市场的产品可能会在 2021 年第一季度上市。