
Blood旌旗
2023-05-03
这两天学了很多,简单科普下高阶辅助驾驶的视觉感知技术进化——「BEV鸟瞰图」和「occupancy占用网络」
●脱水版:
图1是最原始的图像拼接,像泊车用的360环影,巨蠢
图2是BEV,从2D变成“俯瞰视角”,类似魔兽3的小地图视角
图3是占用网络,复杂问题简单化,“可通行or不能走”,类似魔兽3的玩家视角
●详细版:
1.图像拼接类似于360环影,简单拼起来,一个一个地识别。
但是这很蠢:因为各个ADAS摄像头参数不同,根本没法拼接成完美的环形视觉。
而且用这个算法的,基本上还都是一帧一帧地识别图像,没有时间信息,Bug巨多
比如识别目标特别炸裂,如果有一辆超长的货车同时出现在3个摄像头的视角里,请问这是1个车还是3个车?
总而言之:费力不讨好,程序员会被迫写入大量人工规则约束汽车运行,然后整个系统复杂度爆掉。
某些吹牛皮“L3自动驾驶”的车,就在用这种马上被淘汰的感知架构。
2.BEV鸟瞰图
BEV就牛逼多了,人做不到的事情交给AI来做——让AI通过多个摄像头“脑补”一个「游戏小地图」。
这下子就爽了,看「小地图」识别目标非常轻松,接在后面的决策、控制模块难度也大大降低。
就跟你打游戏一样,小地图可以帮助你纵览全局。
3.占用网络
但是BEV毕竟还是个“伪3D”,信息不够丰富,而且识别障碍物需要“训练”。
不训练,他就不知道前面是个啥玩意,不知道是规避还是碾过去。
所以有了「占用网络」,把汽车看到的世界变成「可通行」和「不能走」。
这跟魔兽3的玩家视角是一个道理:比看小地图拿到的信息超越了不知道多少倍,可以提供超大的决策空间。
而且有些地方被卡死,你就是死活进不去,比如人族经典战术——造房子卡位,让敌方单位没法顺利地进基地搞破坏。
————————
那么汽车ADAS的现状是什么呢?
◆大部分汽车什么都没有
◆单目摄像头的ADAS方案,连图1的脚后跟都没摸到
◆传统品牌上了“多ADAS摄像头”,基本图1水平,但是他们不要脸的程度天下第一,可以恬不知耻吹「L3级别的自动驾驶」。
◆国产新势力如鹏华蔚理,介于图1和图2之间,今年不同时间段会到图2的BEV感知阶段。
预计2024年大家会到图3占用网络阶段,因为有激光雷达这个“拐杖”直接提供深度信息,可以很大地缓解视觉算法不足的问题
◆特斯拉:3种感知技术都是他们先落地量产,始终引领汽车ADAS发展方向。
目前可能比图3更先进一些,在尝试NeRF和diffusion等更先进的AI算法。
●脱水版:
图1是最原始的图像拼接,像泊车用的360环影,巨蠢
图2是BEV,从2D变成“俯瞰视角”,类似魔兽3的小地图视角
图3是占用网络,复杂问题简单化,“可通行or不能走”,类似魔兽3的玩家视角
●详细版:
1.图像拼接类似于360环影,简单拼起来,一个一个地识别。
但是这很蠢:因为各个ADAS摄像头参数不同,根本没法拼接成完美的环形视觉。
而且用这个算法的,基本上还都是一帧一帧地识别图像,没有时间信息,Bug巨多
比如识别目标特别炸裂,如果有一辆超长的货车同时出现在3个摄像头的视角里,请问这是1个车还是3个车?
总而言之:费力不讨好,程序员会被迫写入大量人工规则约束汽车运行,然后整个系统复杂度爆掉。
某些吹牛皮“L3自动驾驶”的车,就在用这种马上被淘汰的感知架构。
2.BEV鸟瞰图
BEV就牛逼多了,人做不到的事情交给AI来做——让AI通过多个摄像头“脑补”一个「游戏小地图」。
这下子就爽了,看「小地图」识别目标非常轻松,接在后面的决策、控制模块难度也大大降低。
就跟你打游戏一样,小地图可以帮助你纵览全局。
3.占用网络
但是BEV毕竟还是个“伪3D”,信息不够丰富,而且识别障碍物需要“训练”。
不训练,他就不知道前面是个啥玩意,不知道是规避还是碾过去。
所以有了「占用网络」,把汽车看到的世界变成「可通行」和「不能走」。
这跟魔兽3的玩家视角是一个道理:比看小地图拿到的信息超越了不知道多少倍,可以提供超大的决策空间。
而且有些地方被卡死,你就是死活进不去,比如人族经典战术——造房子卡位,让敌方单位没法顺利地进基地搞破坏。
————————
那么汽车ADAS的现状是什么呢?
◆大部分汽车什么都没有
◆单目摄像头的ADAS方案,连图1的脚后跟都没摸到
◆传统品牌上了“多ADAS摄像头”,基本图1水平,但是他们不要脸的程度天下第一,可以恬不知耻吹「L3级别的自动驾驶」。
◆国产新势力如鹏华蔚理,介于图1和图2之间,今年不同时间段会到图2的BEV感知阶段。
预计2024年大家会到图3占用网络阶段,因为有激光雷达这个“拐杖”直接提供深度信息,可以很大地缓解视觉算法不足的问题
◆特斯拉:3种感知技术都是他们先落地量产,始终引领汽车ADAS发展方向。
目前可能比图3更先进一些,在尝试NeRF和diffusion等更先进的AI算法。
- 全部评论
- 只看作者
- 最热
- 最新
- 最早