近日，黑芝麻智能A1000芯片基础软件开发在线研讨会在顺利完结直播。研讨会由黑芝麻智能李坤、中兴通讯李玉鹏两位技术专家主讲，主题分别为《视觉感知数据流在A1000平台上的基础软件开发》，以及《中兴车用操作系统SafetyLinux在A1000平台上的适配》。
本文是中兴通讯李玉鹏的主讲实录整理
李玉鹏：大家下午好，我是李玉鹏，来自中兴通讯汽车电子，负责车用操作系统及基础软件规划。今天分享的主题是中兴通讯车用操作系统SafetyLinux在黑芝麻智能华山二号A1000平台上的适配。
中兴车用操作系统SafetyLinux
与黑芝麻智能华山二号A1000芯片的匹配
首先，简单说明下我们为什么要做这个适配工作。大家知道，其实黑芝麻智能A1000芯片配套有对应的SDK和相应的材料，而SDK的默认目标硬件是黑芝麻智能配套提供的评估板。但在实际的应用环境中，不同的域控会有不同的要求和配置，同时对底层的操作系统、软件也有对应的要求，这也就需要有第三方的操作系统能够适配黑芝麻智能A1000平台。
到这里，中兴SafetyLinux适配黑芝麻智能A1000平台的基础工作就做完了。
中兴车用操作系统与黑芝麻智能华山二号A1000合作案例
上面这张图展示的就是我们的合作方案架构。可以看到，架构底层是单颗黑芝麻智能A1000 SoC芯片，同时搭载了高性能MCU，来做智驾L2+的行车NOA和停车位的泊车功能。智能外设采用了5R10V的配置，此外还有其他的关联部件和外设。
在黑芝麻智能A1000 SoC芯片（A核）上部署的是中兴SafetyLinux操作系统，采用的是LTS长效演进分支5.10的大版本，支持RT补丁，同时融合了中兴针对车辆场景在计算、内存、存储、文件系统、网络、维测、容器等方面的增强功能在里面。
在方案架构的基础软件层，包含了AUTOSAR AP/CP、DDS、SOA功能框架和功能安全监控框架等。
应用层则包含了第三方和OEM合作伙伴一起实现的智能驾驶的业务应用，比如前面提到的行车、泊车辅助等。
以上是中兴SafetyLinux和黑芝麻智能A1000整体合作方案的简单介绍。
在这个方案里，最核心的功能之一是底层智能外设的驱动适配。从上图也可以看到，主要的外设是摄像头，当然也包括雷达、GNSS、IMU等设备没有体现出来，这些也是整个系统需要接入进来的。此外，NorFlash、eMMC和以太网的驱动也要去集成。
在摄像头的驱动集成里，除了摄像头本身，板端摄像头对应的解串器的集成和适配，以及对应设备树的配置，也是我们重点要做的工作。除此之外，刚才提到的GNSS、IMU时间同步的外设和流程集成支持，以及安全启动框架ATF和uboot的集成。还有其他外设的集成，比如毫米波雷达等，但是这个集成可能是在不同的SoC或MCU上进行。以上就是整个案例中智能外设的集成和适配配置。
除了底层的驱动之外，还有黑芝麻智能ISP 、AI框架和第三方组件的集成，这个也是必须的。因为作为底层的基础软硬件平台，要为上层的应用以及基础软件框架提供必要的支撑。
黑芝麻智能ISP和AI框架主要包括图像变换加速库、视频编码库、深度学习库、相机ISP处理库、IPC通信库、显示库、GPU驱动库等，当然也包含黑芝麻智能AI算子库的集成。这些库有些也是黑芝麻智能核心的自主知识产权，对外以库的形式发布。
在和中兴的SafetyLinux集成过程中，为了保证内核代码和程序的一致性，我们也请黑芝麻智能基于中兴的OS工具链对这些库进行编译，这一点得到了黑芝麻智能很好的支持和配合。
在第三方库的集成方面，包括基础软件库、基础软件框架需要的第三方库，融合感知、规划控制以及泊车业务涉及到的相关第三方库。
这些第三方库，在中兴SafetyLinux集成的时候都会做安全治理。所谓安全治理，就是对第三方库，尤其是开源库的安全漏洞进行扫描，然后对必要的库进行打补丁或者进行安全加固的修改。在修改的基础上再做通用化或者基本的集成测试，这是中兴SafrtyLinux需要做的一些事情，来保证集成的库在整个操作系统平台上能够得到正确的应用，不会存在安全漏洞或者基层功能的bug，从而为上层应用开发提供比较好的支持。
这一页是中兴SafetyLinux和黑芝麻智能A1000在智驾合作案例中取得的一些效果，特别是摄像头出图效果的展示。
上面这一列是摄像头的驱动集成之后，通过摄像头的出图效果来判断功能、驱动和相关组件的集成结果是否正常。
从这个图上能看到我们在周视摄像头和环视摄像头上都有比较好的出图效果。当然在不同的外部环境下，比如在室外比较好光照情况下，或者室内比较阴暗的场景下，周视和环视也都有比较好的出图效果。
这里在摄像头的初始结果里面，一些裁剪或者畸变校正等处理也是基于黑芝麻智能提供的软件组件来实现的。从这张图片我们能够看到也都做到了比较好的集成，并取得了比较好的效果。
下面一排是更上层的应用。我们基于YOLOv5模型样例，来做AI感知和推理的效果验证与测试。从摄像头的图像和交通视频流的图像识别大家可以看到，无论是普通的物体或者道路上的车辆都能做很好的识别。
这也说明了中兴SafetyLinux和黑芝麻智能A1000的基础软件平台，对上层组件的集成和业务的支持都取得较好的成果，能够很好地支撑上层应用的开发。
中兴车用操作系统产品规划及解决方案
这里再简单介绍下中兴的车用操作系统。
今天我们主要介绍的是中兴的SafetyLinux。其实中兴在底层OS方面有比较完整的布局，包括微内核操作系统，SafetyLinux系统，还有虚拟化Hypervisor以及配套的工具链。通过这三种产品的组合，我们能够比较好的形成智能驾驶、智能座舱和智能车控的OS解决方案，也为车端典型场景应用提供比较好的底层支撑。
此外，中兴的微内核操作系统也和黑智能智能A1000平台做了很好的生态适配对接，目前已做到AI感知推理全流程的打通，并取得了较好的效果。这也得益于黑芝麻智能团队和硬件平台对中兴很好的支持。
最后我再简单补充一点，就是中兴对于智能驾驶操作系统解决方案的理解。
其实除了中兴SafetyLinux与黑芝麻智能A1000共同打造的智能驾驶解决方案，我们还有其他的智能驾驶操作系统解决方案。
比如上图右侧展示的组合监控方案。该方案主要是从SafetyLinux功能安全增强的角度来考虑的。因为中兴微内核操作系统已经通过了ISO26262 ASIL-D的管理流程和产品认证，能够提供比较好的功能安全认证的基础条件，而通过这种组合监控可以进一步提升整个智驾解决方案的功能安全特性。
在长远的方案发展层面，中兴也有自己的思路。我们分析将来会基于增强的微内核来做智能驾驶底层OS的承载，主要是考虑将来高阶自动驾驶下对公共安全要求必将大大提升。中兴微内核操作系统本身可以做到ASIL-D的功能安全要求，这样它就有条件为整个智能驾驶底层OS方案或整个智驾方案，提供一个比较好的或者有条件做到高功能安全等级的要求，这也是中兴对智能驾驶演进的基本思路。
今天的分享就是这些，谢谢大家。
