近日,黑芝麻智能联合智猩猩策划的车路云一体化专场公开课顺利完结。黑芝麻智能项目经理杨洋博士以《本土车规级算力平台的车路云一体化路侧解决方案与应用》为主题,从五个层面进行了全面深入的讲解。本文是黑芝麻智能杨洋的主讲实录整理。
杨洋:大家好,我叫杨洋,来自黑芝麻智能的车路运营业务部门,非常感谢大家来参加此次智猩猩公开课黑芝麻智能车路云一体化专场。也感谢智猩猩提供的平台,很荣幸有机会能够给大家带来这次分享,希望能在交流中向大家多多学习。
我今天分享的主题是《本土车规级算力平台的车路云一体化路侧解决方案与应用》。
先简单介绍下我们公司。黑芝麻智能成立于2016年,并于今年8月8日在港交所主板挂牌上市。黑芝麻智能致力于在智驾、车路协同、AVP主动安全等领域,提供基于芯片的全栈解决方案。车路协同是黑芝麻智能着力的九大业务方向之一。
今天的讲解,我将从方案背景、方案介绍、核心技术、行业应用及落地案例5个方面,为大家介绍黑芝麻智能的车路云一体化路侧方案和应用。
车路云一体化方案背景
首先介绍下车路云一体化方案的背景和来源,包括车路云一体化当前面临的痛点问题,以及我们做这件事的目标是什么。
2009年被普遍认为是中国车联网发展元年,虽然依托技术发展来实现产业布局的脚步一直没有停止,但在行业复用、自主闭环、应用落地上仍然面临着很多挑战。比如由于国产化低,自主知识产权的芯片比较少,在数据安全层面,尤其是智慧交通领域,高度依赖进口芯片导致数据安全风险极高。
在政策行业的刺激下,网联、车路协同项目以井喷的态势爆发,各地建设投入的积极性很高。但夸张点讲,针对某一特定的场景进行0~1的开发,在某些程度上会导致软硬件产品,尤其是硬件产品在行业的复用性非常低。
目前网联车的渗透率还比较低,导致产生了一种有建设无应用的现状。我们看到很多城市的确是有网联车的建设布局,比如说北上广一线城市以及武汉、成都等省会城市,但是当下大家普遍的感知是,示范项目全部是区域性建设,覆盖有限,加上网联车的总体占比不高,导致大家对建设成果的直观感知仍然比较少。同时,由于复用难,导致行业应用效果比较弱,公众感知方式比较局限。这些都是当前行业面临的困境,或者说从业者的一些疑惑。
对于我们来说有价值的事情,就是理清行业痛点问题并解决它。
以智能交通场景为例,面临着交通时空资源利用不充分、交通管控科技化手段不足、交通流动态诱导能力欠缺,以及普遍缺乏持续的优化运营4大痛点。
针对这些痛点,黑芝麻智能利用交通管控全域感知解决方案,使车、路、云、控实时交互,实现超视距事件感知、实时流量监测和实时交通诱导,从而达成及时发现、及时预防、及时报警、及时处置4大目标。
车路云一体化路侧方案
基于上述背景,黑芝麻智能提供了一套基于边缘算力平台的车路协同路侧解决方案。
从建设的角度来看,路侧方案可以分为平台层、网络层和道路层三个层面。目前黑芝麻智能着力建设的方向偏向于道路层。
我们的建设思路首先是立足7个主要的应用场景,包括城市物流配送、场外无人环线物流、大规模互联互通、城市出行服务、RoboTaxi商业运营、城市共享观光以及厂区物流配送;其次是面向4类重点需求,比如交通安全、交通效率、交通服务以及辅助自动驾驶。
路侧方案总体逻辑架构如上图所示,利用终端感知能力,融合5G、车路协同、多元感知融合、高精定位、边缘计算、数据处理等技术能力,把结构化的数据或数据流推向平台层,实现基础层和应用层的解耦,这样使得场景多元化,同时能够更好地满足不同场景的差异化服务需求。
下面我将结合三类主要的场景来为大家介绍车路协同路侧方案框架。
第一类是交通管控全域感知解决方案。路侧感知设备以电警卡口、毫米波雷达为主,感知数据通过路测MEC的融合计算推送到云端平台。然后平台将数据与地图引擎、数据引擎进行融合,实现道路交通主体的动态数字孪生。车端则通过4G/5G Uu获取网络播报信息。
该方案的主要应用于交管业务,比如智能信控、事故预防,交通组织优化、可变车道控制,以及违法打击等。根据业务的具体需求,方案覆盖方式可以分为全息路口和全息路网。
第二类是面向L4自动驾驶、网联示范解决方案。该方案在路侧增加了激光雷达来提供点云数据,同时加上RSU;在车载端,通过OBU和5G模块接收信号,实现V2X通信。这个方案主要面向车路协同、车车协同,同时也可以满足交管业务的需求。
第三类是高速全天候通行系统解决方案。高速场景相对来说比较简单,该方案的主要意义在于为高速场景下的交通参与者提供超视距的感知能力。
感知设备主要是电警卡口和毫米波雷达,通过路侧MEC的融合计算,实现道路交通主体的动态数字孪生。在与车端的交互上,也是通过RSU、OBU、5G来实现车路协同、车车协同,提高特殊天气下的高速场景通过能力。
硬件设备的点位分布的密度,可以根据实际的高速路况来部署。比如路况视野非常好的情况下,可以用1000米的点位距离,如果遇到事故多发路段、隧道等场景,可以增大点位密度,比如200米的点位间距,同时也可以根据实际的投入成本来做考量。
一般来说路口的硬件配置类型是差不多的,主要包括杆件、电柜、电箱、感知设备(相机、雷达、激光雷达)、交换机、MEC、RSU、线束等,也可以根据具体的场景需求进行增减。
但外场的部署方案一般来说通用性不强,取决于具体的点位特征,需要考虑路口形态(十字路口、丁字路口、L型路口、Y型路口等)、车道宽度、车道数、绿化带位置以及杆件位置等,这些因素对外场的部署影响会比较大。
以常见的十字路口为例,相机一般布置在电警杆上,朝向路口照射,相机的焦距选型跟干道路进路口的停止线的距离对应。比如电警杆到停止线的距离如果是25米到30米的范围,从实际经验来看一般会采用16毫米焦距的相机,这样可以获得最佳的视场,有需要的话也可以用鱼眼相机实现盲区的补盲。如果路口中间出现盲区,可以利用对向的车道反向电警来补盲。
雷达的部署要看具体情况,如果隔离带较矮且不形成障碍,一般放置在电警杆上,并且尽量靠向路口的中央。如果隔离带较高且形成了障碍,雷达可以放置在进口道对向的红绿灯灯杆上。
路段的部署相对来说比较简单,如果杆距较小的话,可以采用追打的方式,也比较经济。如果杆距较大,可以用背对背互相补充的方式,来实现全路段的覆盖。
我们在核心产品MEC的开发中,结合方案经验和实际的项目经验,也积极做了一些能力的提升和规格参数的约束,以指标效果为目标,推动路侧算力需求的合理化。
比如提高MEC的视频结构化处理能力,至少单算力芯片4路900万像素的图像达到25Hz的检测频率。其次在外场布置方向也做了一些努力,比如合理规划检测区域,充分发挥感知设备的覆盖能力,尽可能减少数设备数量,杜绝设备堆叠和小鸟杆的情况出现。
还有就是优化算法,降低算力的占用,在实际部署时也会兼顾应用和拓展需求,预留算力冗余,但一般会控制在50Tops以下。
在硬件设计方面,我们兼顾了一些工况和耐久性的考量。比如考虑到中国南北方季节气温差异大的情况,我们将设备的允许工作温度做到了-40~75摄氏度。
目前黑芝麻智能车路云一体化路侧解决方案可以输出63项指标、200多项参数,基本覆盖了目标检测、轨迹跟踪、交通参数检测、交通事件检测4大类的绝大部分场景。
同时我们在研发和参与项目的过程中,也积极参与路测算法指标的相关标准编制,着力推动行业指标的发展和完善。
Best Road核心技术
Best Road是黑芝麻智能面向智慧城市、智慧公路等多场景打造的路侧边缘计算解决方案,其能力和使命是完善路侧感知平台,为智慧公路、智慧城市充分赋能。
Best Road依托黑芝麻智能自有的核心技术,包括强大的实时计算芯片,以及搭载自研芯片的边缘计算单元MEC(我们叫它KOOSENS-1000B)、多场景图像处理能力和自研感知算法。
A1000芯片是本土首个符合所有车规认证,是目前唯一能量产的单芯片。A1000支持行泊一体与控制器的芯片平台,还是目前国内最成熟、量产车企最多的自动驾驶芯片。A1000集成了CPU、GPU、ISP、DSP和NPU等多个功能模块,能满足多种计算功能需求。
上图所示的黑盒子,是黑芝麻智能自研的一款MEC KOOSENS-1000B,搭载A1000芯片,整机物理规格小巧,适用的工况条件很宽,并且通过了车规级认证,整机的国产化率不低于90%。在能力方面,MEC KOOSENS-1000B可以并行解析4路900万视频,帧率不小于25Hz,同时它兼容性很强,支持2*128线机械式或4*80线半固态激光雷达的点云数据前融合解析。
MEC KOOSENS-1000B的感知精度也比较高,可以实现车道级定位跟踪,位置误差小于50厘米,方向角误差一般不超过5度,目标识别率、轨迹准确率以及事件准确率都大于95%。延时相对来说也比较低,感知检测时间小于300毫秒,V2X通讯时延小于50毫秒,算力占用率一般小于50%,同时我们也预留了适当的算力冗余,为未来智能信控、大模型等边缘计算应用预留了一定的空间。
在视觉图像感知方面,A1000本身具备强大的图像处理能力,还把传统的ISP技术和深度学习进行融合。深度学习的能力就得益于A1000芯片搭载的NPU本身功耗低、延时低、计算能力强大、数据吞吐带宽高,加上黑芝麻智能自研算法的加持,可以使视觉感知变得更聪明、更智能。
前面提到黑芝麻智能路侧解决方案可以输出的63项指标、200多项参数。路侧算法包含基础感知、目标检测、轨迹跟踪、交通参数、交通事件等绝大部分场景。所有大类里面的细分case,我们也在不断地丰富和完善。除此之外还覆盖了交通态势的研判,可以满足L4级自动驾驶、智能网联、智慧交管、城市管理、智慧高速等行业的应用需求。
另外,通过黑芝麻智能自研的融合感知算法,可以实现视频质量的自我诊断,比如掉线、黑屏、模糊、遮挡、亮度异常,以及条纹异物遮挡的识别等,可以及时发现视频的质量问题并上报,减少设备不work的时间,避免可能出现关键数据采集不到的情况。
黑芝麻智能也非常重视技术的积累,比如数据沉淀,纯研发投入在数据采信和数据闭环的占比上也是非常高的。
我们将端侧大量采集的样本数据,给到算力中心,对数据进行预处理标注,然后给到算法训练,再回流到端侧去再应用,之后再进行循环,从而形成一个完整的闭环。因此,我们数据库的场景类型也比较丰富,并且对于一些Corner Case的关注相对来说也是比较全面的。
行业应用
接下来,为大家介绍下目前黑芝麻智能车路协同方案在行业里的一些应用实践。
大家可以看下上图展示的基础应用场景,我这里放的不全。可以看到基础应用场景的覆盖已经非常全面了,基本上cover了现在常见的场景需求。这里写的是移动端、车端的发布,在平台端也是一样的。
下面来看几个具体场景的例子。
第一个场景是交管全息路口/路网,复用了路侧的电警/卡口摄像机,图像或视频流在边缘端MEC上进行数据融合处理,实现路口路网的全息展示。
我们在MEC上部署了大概18项交通参数的检测算法,19项交通事件及违法行为的检测算法,还有像人机非的鬼探头、视界三角盲区等情况。此外,还可以通过轨迹冲突的预测进行事故预警,降低事故率。
在此基础上,我们也协同一些生态厂商来实现信控的前端自适应,比如动态绿波速度、可变情报板控制等,在缓解交通拥堵和交通流的主动管控上都起到了非常好的效果。
轨轨迹预测和冲突点报警是一种预防性的功能措施,也是我们之前比较关注的。该功能根据交通参与者运行的状态数据,预测其未来一定距离、时间内的运行轨迹,如果预测结果中出现冲突点,就会向交通参与者或平台发布预警,提示减速慢行。该功能可以把视距离三角形、鬼探头这样的突然入侵行为造成的交通事故率,下降50%左右。
另外一个场景是非灯控路口的事故预防,针对平交路鬼探头冲进主路和弯道视距三角形盲区两种情况,和轨迹预测冲突点的预警相类似,也是通过车辆信息的轨迹检测,对交通冲突进行预警。发布端可以通过可变情报板和扬声器对交通参与者进行发布,从而起到警醒和降低事故率的作用。
AI事故还原功能基于全息路口,可以实现实时事故上报、录像回看、数据自动标注/提取、三维孪生还原、自动绘制现场等功能,一般推送到移动端或者交管平台。该功能有希望将平均事故上报的时间降低至5秒,平均事故处置时间降低50%。
第五个实践场景是全息停车场APP,通过全息感知识别目标经纬度,车位信息实时检测,实现自动驾驶车的一键泊车和自主接驾,可以解决地库寻车难、停车效率低的问题。大家日常感知比较深的就是在地库里,人车混流、急转弯、盲区较多,声音也比较嘈杂,情况复杂,该功能可以在一定程度上可以减少这方面的潜在风险。
第六个场景是全息高速,也是一个非常好的应用场景,对车路协同也是有迫切需求的场景。
高速上不仅车速快,而且路况多变,比如因为车速快导致视距要求不足,转弯路段的视觉盲区,隧道出入口光线的突然变化,还有上下坡视觉盲区,以及极端天气的影响等。
在上述场景下,车路协同可以提供超视距解决方案,且理论上没有距离限制,可以对前方无限制距离的路况进行实时播报。一方面提高主动安全警示作用,降低事故率,另一方面可以给交通参与者提供超视距之外的路况信息,让驾驶者更有信心,一定程度上降低因车速引起的局部堵塞情况。
匝道分流、合流是事故高发区域。开车的朋友都知道,匝道是一个有大量并道事件发生的地方,尤其是合流的情况,即便少部分的车道比较宽裕,会预留缓冲的交通线,或者是直接预留一个车道,但是对于主、辅路的车辆,尤其是主路的车辆来说,一般车速还是比较快的,很难观察到对方。该解决方案可以通过轨迹检测,对潜在的交通冲突进行预警,通过情报板,或者警示灯对车辆、人员进行预警播报,从而将潜在风险降到最低。
落地案例
下面给大家分享一些我们做的落地案例。
这是我们在某地的一个常规十字路口落地案例,有60个路口的体量。这里展示的一个是比较典型的十字路口,我们采用4相机+4雷达的方案,对路口进行实时的交通参数和实时事件的检测。
从客户平台端展示的效果可以看到,交通参与者的轨迹以及信息展示的效果还是非常不错的。视频后半部分大家可以看到一个异常事件,旁边的播报板会对动态的实时事件进行滚动播报。
这个视频展示的是我们在某地的一个高架桥下的路口案例。大家可以看到画面标注的情况,以及人机非的检测效果。
这是客户平台上呈现的全息展示效果,包括交通流量趋势、实时入口状态信息,都可以在平台上看到,右下角可以看到滚动的事件播报。
这个视频展示的是我们在某地的机械式激光雷达加摄像机的全息入口案例。大家从视频中可以看到包括行人、机动车和非机动车的检测效果。
今年7月份,黑芝麻智能交付了一个全息匝道纯视觉方案,首次实现了开放道路条件下的自动驾驶。这是一个纯视觉方案,车端完全采用路侧数据进行合流变道的决策。
这是一个没有电警杆,我们为了利旧,在信号灯杆上部署枪球一体机的方案。从视频中可以看到,它的视场是对着对向进口道的,不是对着对向的出入口道。即便是这样一个妥协的方案,实际的3D入口效果可以看到也是不错的。
这是一个高速场景下,使用龙门架卡口相机利旧感知方案,融合了我们自己采集的高精地图,大家可以通过视频看下最终效果。
好的,以上就是我今天分享的全部内容,谢谢大家。