端到端智能驾驶核心技术全景：从BEV感知到4D自动标注实战 | 盖世大学堂

智能驾驶基础

1、智驾发展历史

• L2辅助驾驶(2D感知)

• L2+城区智驾(BEV感知)

• L3智能驾驶(端到端)

2、主要传感器特性

• 相机

• 激光雷达

• 毫米波雷达

• IMU, GPS, RTK

3、数据采集

• 时间同步

• 内参标定

• 外参标定

• 动态标定

基于BEV感知的智驾技术栈

1、BEV感知模块

• 静态感知(道路结构)

• 动态感知(人车非)

• 通用感知(占用栅格)

2、激光雷达4D自动标注

• 定位建图

• 动态物体标注

• 占用栅格标注

3、视觉4D标注

• SFM,SLAM

• 动态物体标注

• 占用栅格标注

AI深度学习与大模型基础

1、CNN及检测分类算法

2、TRANSFORMER架构

3、DIFFUSION架构

4、语言模型LLM

5、多模态大模型VLM与VLA

三维重建与仿真

1、三维重建

• 传统MVS

• 深度估计

• NERF

• 3DGS

2、智能驾驶仿真系统

• 开环仿真

• 闭环仿真

端到端智能驾驶方案

1、端到端智驾推理

• 多段式

• 一段式

• 快慢系统

2、端到端智驾训练

• 基座模型

• 模仿学习

• 强化学习

• 影子模式与数据闭环

3、端到端智驾行业现状与展望