理想汽车全新一代智能驾驶技术架构端到端+VLM系统正式全量推送

2024年10月23日，理想汽车行业首创的全新一代双系统智能驾驶解决方案端到端+VLM（视觉语言模型），随OTA6.4版本车机系统向理想L系列AD Max用户和理想MEGA用户进行全量推送，标志着理想汽车智能驾驶正式进入AI大模型时代。本次OTA更新重点围绕智能驾驶能力升级，智能空间和智能电动也同步更新，为理想L系列和理想MEGA用户带来更全面的智能出行体验。

智能驾驶方面，基于理想汽车一直以来对安全的重视，不断对双系统架构进行打磨验证，历经千人到万人的多轮测试，如今理想汽车智能驾驶行驶里程已超过25亿公里，超过80%用户使用NOA驾驶，30万以上车型AD Max订单占比超过70%，训练算力达到5.39亿Eflops。此外，得益于理想汽车的投入产出效率以及世界模型在云端的提前部署，目前双系统架构可实现一周两个版本的高效迭代，领跑业内。此次全量版本基于最新的V4.8.6模型，增加城市场景数据配比，提升了超车场景理解能力、导航信息理解能力、障碍物检测精度、停止线检测能力，真正实现像人一样思考，像老司机一样驾驶，场景全覆盖、行驶更舒适、通行更高效，智能驾驶产品价值再度进阶。

端到端模型拟人化程度再上新台阶，驾驶习惯媲美老司机

理想汽车端到端+VLM是集成了真正意义上的One-Model结构端到端模型+全球独创的VLM视觉语言模型，且率先将视觉语言模型VLM部署到车端芯片上的双系统方案，从创新技术阶段到实际落地，智能化、拟人化、稳定性程度持续稳步提升。

本次OTA6.4全量版本在端到端方面，新增路边起步、U形掉头、环岛通行功能，增强了拥堵路况下的变道、绕行、避让；复杂路口的精准选道；车辆或行人切入横穿场景下的识别反应等能力。真正实现城区场景无断点、复杂环岛可通行、U型掉头轻松过，拥堵博弈更自信、原地P挡能开启，为用户提供更加便利畅快的智能驾驶体验。

当处于路边起步场景时，端到端模型会直接输出轨迹，使用更强的可行驶区域规划，不再强依赖车道关系。即使车辆不在车道中，也可以启发式搜索出一条从路边驶入主路的路线，实现P挡状态下双击拨杆直接起步，无需在车道内启动。得益于端到端强大的感知能力，可以更准确识别和预测周围障碍物的行驶轨迹，从而保证路边起步的安全性，起步过程中环顾周围判断危险，自主礼让、避让等。

端到端模型基于人类司机数据训练，具备更强的复杂道路结构的理解能力。例如在不同的U型掉头场景中，都能输出合理轨迹，不再强依赖于导航信息和道路拓扑以及人工定义的规则去选择合适的路线。更强的侧向感知能力实现“看得远、看得准”，在掉头过程中，可以更准确识别和预测对向直行车辆的行驶轨迹并做出避让动作，在环岛通行中可以更准确识别和预测旁侧切入车辆的行驶轨迹并进行合理博弈，进出环岛决策更果断，出口选择更精准。

此外，端到端还通过学习各种驾驶场景下的大量老司机数据，依赖纯模型式的算法，实现更拟人的加塞和蠕行博弈动作，在遇到前车减速的情况下会直接绕行蠕行通过；在复杂路口的无保护左转场景，精准把握车流空档，主动选择车流量更小的车道；由于端到端从感知到控制的时延更低，在遇到车辆或行人切入及横穿场景时，具备快速反应、及时减速的能力，兼顾安全和通行效率。

VLM视觉语言模型实现遵守交规，通行更加合理高效

截止目前，理想汽车在端侧部署的VLM视觉语言模型已拥有22亿参数量，对物理世界的复杂交通环境具有更拟人的理解能力，即使面对首次经历的未知场景也能自如应对。随着OTA6.4版本的正式推送，VLM视觉语言模型也迎来了重大更新，通过对大量人类老司机的驾驶数据、特殊车道场景的驾驶行为、驾驶过程中的困难场景进行学习，从而获得遵守交规、识别道路上的中文信息并深刻理解中文语义、识别潮汐车道和通行状态的能力，辅助端到端完成完整驾驶循环。

例如在限时公交车道，可轻松理解上方路牌限行信息文字和公交车道黄线识别，并对应做出执行控制；可识别潮汐车道和可变车道，以及可通行和禁行的状态标识，并正确选择车道通行；在丁字路口场景会主动采取防御性减速，避免以往在丁字路口场景，入弯偏快带来的不安全感；可识别减速带、坑洼路面、夜晚无灯、学校路段、施工场景、主辅路进出等场景并提前减速，同时通过语音/EID/UI交互等进行告警；在主辅路/高架场景下，可识别并理解自车所在位置为主路/辅路、高架上/下，纠正导航偏移，保障路线选择准确性。

不仅如此，OTA6.4版本还优化了高速NOA功能，在高速&城市快速路场景，针对前方慢车，具备更早识别、果断发起超车动作，更高效更安全。

双系统交互体验全新升级，用户体验更加便利

除了双系统在智能驾驶功能方面的重磅升级，用户交互体验方面也迎来了全新体验。OTA6.4全量版本推送后，理想汽车端到端+VLM智能驾驶双系统在车机交互页面展示更加清晰全面，系统的“所见所想”实时交互，让智驾全程可理解更安心。

系统1“快思考”的端到端模型文字弹窗相比无图NOA版本更加丰富更加易懂，实时交互按导航、交规、效率、博弈、注意提醒等相关的执行逻辑和动作。系统2“慢思考”的VLM视觉语言模型新增图文视窗，在特殊场景下，将前方感知到的画面投射到页面内，配合文案讲解模型的思考过程和结果。让用户在实际用车过程中，对于双系统智能驾驶功能“看得见、摸得着”，切身感受到双系统的智能与便利。

智能空间“玩转任务大师”

智能空间方面，理想汽车始终聚焦用户价值，以用户体验为核心，通过AI人工智能加持，打造智能座舱体验标杆。OTA6.4版本新增任务大师2.0，全面接入理想同学和Mind GPT能力，大模型加持下的任务大师更智能、更全面。

导航地图升级到高德AutoSDK 750版本，新增绿波车速、路口会车预警、绿灯倒计时功能，升级地图3D视觉效果，地图更强大。另外，当导航中发起沿途搜时，可通过触控+语音任意指定搜索关键词，针对指定类型的沿途搜具备精细筛选，例如充电站搜索时可以筛选品牌、功率，加油站搜索可以筛选品牌。出行类问答结果会在理想同学语音框中生成语音地图卡，结图文结合，展示更形象。此外，还新增了桌面卡片区间测速显示、智能通勤卡开关。

高德AutoSDK 750版本地图界面

理想同学新增表情包和眼神追踪，新增思考、开心、疑惑表情，在阵列mic加持下，理想同学眼神可跟随发音人位置移动；理想同学语音模型也进行升级，离线语音接近在线效果，英文播报更自然；理想同学车控响应速度再度提升10%-20%；娱乐助手新增娱乐应用内容点播语义直达；用车助手新增OTA相关问答及操作指令。

MEGA车型新增舱内后视应用，随时查看后排儿童/乘客情况；MEGA车型新增二排右侧一键尊享座椅，一键开启极致乘车体验；L系列新增一三排对讲，高噪场景下依然轻松对谈。

理想MEGA二排尊享座椅

智能电动新增超充报告和充电站功率区间筛选器

智能电动方面，随着理想超充站越来越多，超充报告自然也不能落下。新增理想4C/2C/优选站超充报告。充电完成后自动生成超充报告，纯电/增程车型均可查看本次充电详情，充电时长、里程、峰值功率、平均功率等信息一目了然。可一键发送至手机，查看、保存、分享一气呵成；

同时新增充电站功率区间筛选器，筛选调节更直观，方便查找合适的充电站，高效稳定，实现城区、高速充电无忧。

超充报告

充电站功率区间筛选器

100万辆车对智能驾驶来说是一个非常关键的指标，近日，理想汽车已完成第一百万辆交付。同时，得益于理想汽车长期坚持核心技术自研，不断加码研发投入，这一次，理想汽车行业首创的全新一代智驾解决方案端到端+VLM也迎来了全量推送的重磅里程碑时刻。自此，理想汽车智能驾驶正式迈入AI大模型时代，将为百万理想用户带来更舒适、更全面、更高效的智能驾驶出行体验。未来，理想汽车还将在智能驾驶、智能电动、智能空间等方面全方位持续发力，向着成为全球领先的人工智能企业，为更多用户创造移动的家、创造幸福的家而不断努力。