高阶自动驾驶测试数据闭环解决方案

昆易电子成立于2011年，成立至今拥有有32项知识产权，280多位员工，研发占比60%以上，其愿景是让研发更简单，定位是嵌入式研发汽车测试工具解决方案和服务。服务的行业有汽车、教育、航空航天、轨道交通。产品和解决方案有基础软件的开发、仿真测试平台、数据采集和分析工具、ADAS数据闭环解决方案、测试服务等。 一.自动驾驶数据采集方案对自动驾驶行业而言，这个领域的传感器特别丰富，有GMSL相机、雷达有如毫米波，激光，超声波，采集的时候也涉及到环境、音频、V2X地图等传感器。自动驾驶的数据采集中，如视频方面，相机有100万像素，200万像素，300万像素，500万像素等等；相机的数据中，需要对数据的格式做H264、H265等各种各样的压缩；还涉及到相机曝光，如将相机、雷达进行组合曝光，对数据进行有效的采集，这是都是当前客户非常关心的问题，为此昆易电子都做了相关的解决方案。 二.关于自动驾驶数据采集类型，昆易电子认为有以下几种类型第一种采集类型是直接采集，数采设备把所有的传感器全部接入进来，由数采设备去控制，比如说控制授时，传感器供电，曝光，以及其他传感器，保证整个数据同步的采集记录下来，没有经过其他的各种多元化的处理。比如一个常见的方案：两颗前视相机，一个FOV为30度，一个FOV为120度，后视一颗相机，环视4颗相机，周视4颗相机，一颗RTK，前视一颗毫米波，再顶上用一个128线的激光雷达，一个前向固态激光。第二种，更进阶的采集方案，昆易电子称为旁路采集。考虑到现在的大部分传感器自身不具备一分为二的特性，根据这个情况，昆易电子提供bypass 的硬件设备，将传感器的数据进行一分二，在不破坏原有整车线束和整车驾驶特性的情况下，保证采集和域控的正常进行，但是两个之间不做互相的影响。好处是数采设备只是被动接受传感器的数据，对传感器的控制权，依然在域控制器。第三种方式是真值采集，原车所有的传感器是不变的，比如一辆车有激光雷达和毫米波雷达，11颗相机，顶上有一个EQ4作为感知，或者说直接用域控做感知，这个时候客户需要一套真值的系统，去对标它的感知能力，就会涉及到在车顶上，一个主激光雷达再加两颗激光雷达作补盲，车头再加一颗激光雷达补盲，车身四周再加4颗角毫米波雷达补盲。这样的一套方案，去做整车运行过程中的的数据采集，接着在实验室去离线分析采集数据和真值的结果，进行感知对比，去发现解决问题。 三．不同的传感器如相机，也会具有不同的采集方案现在采集有如下两种方式：一种是直接采集RAW数据，RAW数据直接落盘到数采设备，落盘的方式可以选择压缩落盘和不压缩落盘。这种就是常说的原始的RAW数据的采集。另一种方式是RAW数据到ISP中进行转化输出成YUV的数据格式，进行数据落盘。落盘的方式也非常丰富，比如有：直接落盘YUV的数据，这种带宽会比较大；或者针对YUV的数据，做H26X的压缩，例如H264、H265的压缩，好处是压缩的比例是动态可配的（1：50，1：40等）； 也可以把YUV数据的落盘成一张张的图片流如JPEG或者MJPEG的格式，方便后期的感知使用另一种方式是相机内部就已经内置ISP，相机的输出就是yuv格式的数据，数据落盘的方式可以YUV或者yuv压缩对于LiDAR而言，接入到数采设备后，数采设备接收它的UDP报文，也会对雷达进行PTP的授时。数采设备可提供V4L2接口、ROS接口，可以数采和感知同步并行，即在数采设备上做数据采集的同时，还可以提供实时的接口，给算法端去做实时的感知。 四．传感器旁路怎么旁路?有如下三种情况，RAW类型摄像机：通过昆易自研的GMSLBYPAS模块一分三，其中一路给到域控制器，域控制器去做数据输入，第二路直接做RAW采集落盘，第三路RAW经过ISP处理输出为YUV给到数采设备落盘。YUV类型摄像机：过昆易自研的GMSLBYPASS模块一分二，这种类型摄像机经过GMSLBYPASS模块后不需要再做ISP处理，一路直接给到域控制器，另外一路数据给到数采设备落盘。LIDAR激光雷达：过昆易自研的ETHBYPAS模块一分二，通过复制转发的形式，一路直接给到域控制器，另外一路数据给到数采设备落盘。 五．针对上述不同的数采方案，昆易有多类型的数采设备支持多种方案的实现第一款4000pro，搭载11代的因特尔的CPU，搭载两颗3090的GPU，支持12路800万相机的接入。相机的数据接入都是走的PCIE的接口，优点是带宽大，延时低，可以支持16路CAN/CANFD的接入，2路FlexRay,支持PPS同步卫星时间，可作为PTPMaster去授时车身所有传感器，支持相机和外部组合输入的同步曝光，整机数据采集同步精度在1毫秒以内。第二款3000Pro，是昆易电子推出的高性能版数采设备，搭载9代的CPU，搭载两颗3090的GPU，12颗800万的相机，支持16路CAN/CANFD的接入、2路FlexRay，支持PPS同步卫星时间，可作为PTPMaster去授时车身所有传感器，支持相机和外部组合输入的同步曝光，支持视频编码压缩储存（板卡端）优势在于视频编码或者压缩不占用GPU的资源，还可以同时给到数据接口给到感知使用，满足感知和数采在同一台设备上运行。第三款2000，它的性能相对而言弱一点，搭载2080的GPU，对一般的数采而言，是够用的，支持8路CAN/CANFD，是支持12颗相机，整个数据精度都是一毫秒之内的，编解码也是在板卡端。第四款轻量级的2000E搭载7代CPU，搭载一颗1650GPU，可以接8颗800万的相机，使用场景单一,但是体积小，更便携。 六．数采设备对现在市面上的一些传感器的支持的能力是什么？1.支持采集CAN，CANFD，其中CAN卡为昆易自研，每通道支持CAN／CANFD配置，市面上的CAN设备均可以接入采集。如整车CAN，EQ4CAN，毫米波CAN，超声波融合CAN等。支持DBC导入，解析信号并记录；2.支持激光雷达支持种类多元化：支持市面上主流激光雷达接入，如禾赛机械激光雷达全系列，速腾聚创机械全系列，固态M1，Innovation 300线，velodyne激光雷达。支持如上雷达的采集，点云计算，前融合投影计算；3.RTK／IMU支持种类多元化：支持市面主流RTK接入，如诺瓦太，导远，北斗星通，华测，戴世等品牌。支持如上RTK数据采集，秒脉冲校时，支持PTP Master 实现系统授时，校时；4.摄像头支持种类多元化：支持市面主流的GMSL摄像头接入，如森云，Leopard，舜宇，联创，德赛，海康、殷创。且设备端支持对相机接入的数据进行，H264／H265／JPEG／MJPEG编码传输。减少主机的GPU因相机数据的编码损失感知运算的资源。单通道最大可以支持到8M 30FPS。板卡支持各种类型的分辨率的接入，如规则的720P，1080P，2K，4K．或者不规则的各种尺寸的数据接入；5.曝光控制策略客制化：支持客户要求的各种曝光策略，如标准30帧，20帧，15帧，10帧等曝光控制，如依赖激光雷达输出的脉冲的10hz波形的曝光控制；6.智能摄像头支持种类多元化：支持市面主流智能摄像头接入，如Mobile EQ4，地平线Mono J2／J3，Maxieye，Minieye等支持开放数据接口，可以提供客户各种传感器的数据接口。如V4L2接口，Socket CAN接口，ROS接口；七.目前设备支持连接昆易的云端平台云端平台可以提供用户权限管理、车队管理、配置管理、测试任务下发。实时状态监控、片段数据下载、整车设备的OTA升级，实时日志下载，远程问题定位，实时数据查看的功能。客户前期可能需要海量的数据采集，那么后期设备可以提供感兴趣的数据采集，当数据采集车在路上运行时，工程师可以在实验室中通过云端平台根据测试计划去调整测试方式，把需要测试的场景通过远端下载到设备端，设备可以根据具体的配置改变后续的测试策略，工程师也可以通过修改总线信号,给到域控制器下发，或者远程刷新人工标签。远程刷新后,测试车辆的驾驶员,可以实时更新人工标签，这样极大提高了感兴趣数据的效率。 八.昆易电子数据可视化和分析软件在此方面，昆易电子提供了一款软件，在车端是实时，在实验室端可以根据车端记录的数据来做离线分析 ,软件具有如下功能 :支持CAN／CANFD数据实时可视化,支持地图行驶轨迹的实时生成,支持雷达点云可视化分析,支持目标物与点云的融合显示,支持视频实时可视化分析,支持真值系统输出,支持Tag输入，用于人工标注场景、事件,支持ADAS相关信号的统计分析,支持融合第一视角,支持相关被测件的分析评价。 九．如何证明数采方案中的同步精度到一毫秒，昆易电子有一些测试方法：（1）多相机时间戳同步精度误差在100us以内，验证方法：用多个相机去拍摄同一个画面。（2）CAN总线和雷达数据时间戳同步精度误差在500us以内，可以基于雷达输出脉冲的这一时刻，去看雷达的数据和总线报文产生时，我们所记录的时间戳的误差，是多少。（3）相机数据时间戳和雷达数据时间戳误差精度在1ms以内，可以以雷达的脉冲去trigger相机的曝光来看采集的数据的时间戳和雷达报文里面的时间戳的误差。（4）融合验证：整车静态、30km/h、60km/h、80km/h、100km/h、120km/h车速下的统合投影。（5）多传感器数据时间同步精度：500us ~ 1ms之间 十.昆易电子数据回注的方案回注设备在智驾仿真中非常重要，因为某些难以复现的场景，实车测试时发送过一次后很难再去复现第二次，比如说动物在马路乱窜、交通事故的还原、卡车后的红绿灯、加塞的车辆、黑暗行驶场景、雪地阳光产生的逆光等。智驾回注设备可以让这些边角案例的素材形成一个数据原型注入进域控制器中，然后域控制器可以利用这些数据做一个开环的感知结果的输出。在数据回注的需求场景下，昆易电子看到设计的复杂性比传统高很多。比如系统定义复杂，仿真设计复杂，测试代码复杂，包括涉及到软件测试，系统测试，整车测试。其复杂度相比过去，量级有了明显的提升，昆易电子通过把素材变成控制器可以使用的数据模型注入进来，再做一些感知结果输出给域控。 十一.智驾回注设备典型的需求场景：集群化回归测试在后续测试，一台车跑一年的数据用一台回注的设备跑一年，一台车一年的数据用几百台的设备，做集中化的回归测试，这样测试的周期就大幅度的缩短。 十二.智驾回注设备典型的需求场景：仿真闭环测试昆易电子基于场景软件的仿真闭环测试，通过各种总线、视频、以太网接口按照方案把所有数据闭环到域控制□器，利用域控制器去做整车所有传感器的闭环仿真测试。昆易的回注设备有很多总线、视频、以太网的接口，支持多板卡级联同步，并且由域控制器触发响应，整个的形成一个测试闭环。 十三.智驾回注整体介绍整个回注系统的构成是由RTPC单元和视频注入的板卡.以太网板卡、CAN卡，然后通过上位机/注入脚本拉云端的数据进入昆易的实时机，实时机去做编码，比如说视频利用GPU解码再通过PCIE/HDMI/GMSL送到域控制器，以太网的数据通过车载以太网直接送到域控制器，这套设备只要保证数据到域控制器的同步性，域控制器就可以模拟整车在路测的场景。 十四.智驾回注功能-视频注入视频注入卡是昆易一直自研的一张非常有价值的板卡，可以把HDMI的信号专成LVDS，支持各类型串行芯片，通过设备支持的协议去转换数据，将视频的数据很好的传输到域控制器，域控制器只要有对应的接口就可以拿到数据。可以在PC端去解码RAM,H26X（H264/H265）和YUV的数据通过GPU去编码，然后通过HDMI传输到视频注入板卡之后,通过串行器走LVDS传输到对应域控制器的解串器。同时设备也是支持域控制器Trigger响应，域控制器Trigger一帧，昆易的设备可以回应一帧。 十五.智驾回注功能-视频注入的故障模拟除了真实场景的回注，同时昆易电子可以进行故障模拟，涉及到视频帧的故障模拟。昆易电子在测试的过程中随机的位置或者固定的位置设置一些马赛克，或者加入一些异常的图像，破坏原生视频的真实性，进行验证。同时，可以模拟底层故障，如模拟丢帧、模拟时延等。 十六. 总线及车载以太网注入1.总线注入:CAN CANFD LIN FLEXRA 2.车载以太网注入 :100/1000 Base T1←→100/1000 Base TX 3.控制器曝光响应 :支持仿真真实摄像头，监听控制器发出的同步触发曝光信号，达到不同摄像头同步注入的目的4.带宽性能瓶颈 :高效利用GPU处理能力，避免过多的占用PCIe。