引 言
汽车行业“智能化”发展趋势下，得益于硬件平台和软件算法逐步成熟，新车搭载各种L2级别的辅助驾驶功能成为吸引消费者的重要配置，另一方面，在“软件定义汽车”的新时代，自动驾驶更是成为了影响车企未来发展的重要战略。
自动驾驶领域市场参与者众多，包括传统车企、造车新势力、互联网/科技公司等。随着入局者的增加，高阶自动驾驶进入了竞争白热化阶段。智能汽车车载传感器数量越来越多，自动驾驶神经网络模型算法复杂度越来越高，相关功能也越来越丰富，自动驾驶的研发也面临巨大的挑战。
开发工具链的效率决定了整个智驾系统开发的效率，对于一家赋能全栈式自动驾驶能力的智能驾驶计算芯片公司而言，为客户提供易操作、广适配、高效率的工具链产品，帮助客户建立从开发到量产的软硬件全解耦软件工具体系显得尤为重要。黑芝麻智能深知软硬协同的重要性，为帮助客户更好地基于黑芝麻智能华山系列芯片进行产品开发，提升研发效率，降低开发门槛和综合成本，加速产品量产，黑芝麻智能推出山海开发工具链平台。
软硬协同，深度优化，灵活部署
整体来看，黑芝麻智能山海®开发工具链配合华山系列自动驾驶计算芯片，能提供全面的开发包及算法开发所需的软件工具，满足模型量化、优化、编译、仿真、部署、调试等各个开发环节的需要，并纳入深度学习参考模型库转换用例，大幅降低算法开发门槛，帮助客户进行灵活的模型迁移、部署和整合。
黑芝麻智能山海®开发工具链
黑芝麻智能山海®开发工具链平台支持Tensorflow，Pytorch等主流训练框架和模型格式，支持动态异构多核任务分配，通过基于ONNX面向Caffe训练的深度学习模型自动转换方法来进行扩展，提供适配芯片架构的AI编译器的自动优化，支持客户自定义算子开发。能够助力客户快速移植模型和优化部署落地的一体化流程，提升自动驾驶开发者业务模型的开发及部署效率，黑芝麻智能山海®开发工具链平台目前拥有50+ AI参考模型库及转换用例，可大幅降低开发者算法开发门槛。例如车道线检测、目标检测等等一些模型结构，使用这些模型结构可以在华山系列芯片上更好地去发挥性能及快速部署落地。
量产级算法典型实践
黑芝麻智能剪枝算法，提高模型效率
神经网络在训练完毕后，绝大多数权重是非零的。如果网络中某些部分的权重为零，我们称之为稀疏（sparsity）。剪枝（pruning）是指人为地将部分非零的权重归零的过程。通过稀疏的网络可以被压缩，省去不必要的计算，让网络变得更小，运算更高效。更具体地说，在计算机视觉（CV）领域中，稀疏的网络有如下优势：更少的卷积（convolution）计算、更小的网络权重、更低的数据读入写出（data I/O）成本。
针对华山系列芯片的硬件特性，黑芝麻智能开发了一套自研的剪枝工具BST-DAL，支持在任何预训练模型上进行剪枝，可显著提高模型在华山系列芯片上的运行速度。用户只需修改几行代码，提供一些基本的剪枝超参数，就可实现在自己的原始训练环境中剪枝。黑芝麻智能自研的剪枝工具相比于众多开源项目，拥有更快的收敛速度、更高的精度、更适应芯片特性的剪枝算法、更简便的API及更友好的用户体验。黑芝麻智能的剪枝算法能使模型在保证精度的前提下，将芯片上的运行帧率大幅提高。
黑芝麻智能量化算法，提升计算效率和性能
通过量化能将神经网络模型的参数（权重和激活值）映射到较低的精度表示，从而降低计算和存储成本，提高模型在硬件上的推理效率，在不显著影响模型性能的前提下，减小计算和内存需求，这一技术可以通过后训练量化或者量化感知训练来实现。
现在市面上不同车型搭载不同硬件平台，它们有不同的计算和存储特性，部分硬件平台可能还有特殊的定制要求或功能限制，很多通用的量化算法无法最大程度地利用硬件的优势，满足这些定制化需求。
黑芝麻智能针对特定硬件的约束和特性开发自研量化算法，以最大限度地提高计算效率和性能；同时根据硬件的位宽等特性，设计出更合适的量化策略，以平衡性能和资源消耗，灵活地控制量化的精度，使得在硬件资源受限的情况下，仍能保持模型的性能，满足定制化的硬件需求，确保量化后的模型在特定硬件上能够良好运行。
黑芝麻智能量化算法
华山二号A1000硬件特性
• 权重按通道量化，部分激活可按通道量化；
• 支持混合精度，利用多引擎的特性，提升算子位宽提升精度；
• 硬件支持的是对称量化和2的幂次方的量化；
• 支持RGB/BGR/NV12/YUV444/GRAY等输入的模型量化。
离线量化算法(Post-Training Quantization)
• 可以进行逐层调优，包括最小-最大值、KL散度、百分位点等多种调优方式；
• 支持权重均衡，提升量化效果；
• 自研算法优化了int16 Conv的计算逻辑，保持精度的同时提高了效率；
• 精细调优: 支持逐层的自动化精度调优来搜寻量化模型的最优解；
• 支持通过导入带有量化参数的JSON文件的形式进行自定义量化；
• 提供量化后模型的评估阶段，提供可视化工具，帮助分析和理解量化效果。
量化感知训练(Quant-Aware Training)
• 支持量化感知训练，量化感知训练与硬件对齐，进一步优化量化效果。
基于黑芝麻智能量化提升的BEV算法效果
目前，黑芝麻智能山海®开发工具链在60余家车厂及Tier 1生态用户中得到广泛应用，助力合作伙伴的研发团队提升开发效率，为客户提供轻松快速开发和部署算法的指导，全面的工具链SDK和应用程序，帮助客户轻松部署优化模型。
赋能客户 智驾未来
“目前国外芯片厂商，普遍存在底层开放度不足或迭代较慢的情况，例如面对新的算法需求，底层计算能力的拓展需要依赖国外技术团队支持，响应速度较慢。此外，对底层bug的修复流程也比较冗长，面对客户对时间和质量的高要求，软硬一体迭代效率不尽如人意”。百度智能驾驶事业群组ASD硬件平台部总经理赵姝岩在谈到与国外芯片企业合作时说到，“而跟黑芝麻智能合作，在提供芯片的同时，为了更好的调用芯片能力，黑芝麻智能为我们还提供开放的山海开发工具链，极大的缩短了我们域控平台开发时间，为客户项目按时交付赢得宝贵时间，我们自主+自主开放的合作模式，一定会赢取更多客户，赵姝岩无不对黑芝麻智能的合作充满信心。
在黑芝麻智能主办的“2023智能汽车芯片高峰论坛”上，亿咖通科技高级副总裁张容波说到 “吉咖智能自主研发了行泊一体式智能驾驶平台，集成两块黑芝麻智能华山®️二号A1000芯片，具备最高超100TOPS的算力。平台最高可支持30个以上传感器接入；通过不同数量的传感器和算力单元的组合，可实现不同成本需求下的驾驶辅助能力组合；具备影子模式和OTA能力，配合自动驾驶云，实现用户驾驶习惯学习、自动驾驶能力持续进化。” 正是黑芝麻智能华山系列芯片与山海工具链的软硬协同，为吉咖智能提供了具备行业竞争力的智能驾驶方案，搭载该方案的吉利领克08车型已于8月8月开启预售后，不到3天订单就突破1万台。
基于黑芝麻智能华山®系列芯片——亿咖通智能驾驶解决方案
边缘计算场景离不开算法的支持，华山SOM作为华山二号A1000芯片的衍生产品，天然支持黑芝麻智能山海®开发工具链平台。得益于不断优化的AI工具链，华山SOM上已成功移植了目标检测、点云、语义分割、双目、人体姿态、人脸识别等多类算法模型，实现了包括ADAS、BSD、DMS、环视等在内的车载应用。对于新领域新算法需要的的新算子，黑芝麻智能可进行定制化开发，并提供第三方算法移植的技术支持。“基于华山系列芯片与山海工具链，圆周率科技能够为客户定制基于特殊应用场景的产品，快速覆盖汽车、机器人及其他边缘计算应用，为公司抢占新产品市场助力提效，我们基于华山SOM设计了商用车产品，45天左右就实现了样件阶段的全部功能，而且中间还包含了春节放假的时间。这当然离不开团队和客户的大力支持，但同时也证明产品本身的成熟度已经完全可以满足市场的需求。”圆周率科技COO朱华伟对此表示。
黑芝麻智能智能致力于通过颠覆式的技术创新，为客户提供最优的产品。随着“芯片+开发工具链”产品矩阵逐步拓展和完善，黑芝麻智能将持续为行业带来创新、高效、安全和可落地的方案。在汽车产业智能化的时代浪潮中，黑芝麻智能期待携手更多产业链伙伴合作，共同用创新描绘汽车产业的新面貌。
