在两个月前的2024「绝影实力AI DAY」上，商汤绝影首发了AI汽车创新产品「A New Member For U」，它能够察言观色，无时不在，心有灵犀，将会让智能汽车拥有「有趣的灵魂」。而原生流式多模态大模型是打造「家庭新成员」的关键之一，也是它能察言观色的核心所在。
就在近日，商汤绝影与国内知名车企合作伙伴联手打造的行业首个原生流式多模态座舱产品已经量产上车，并向用户进行OTA推送。其能够实现「前车识别」、「交通标志识别」和「沿途风光识别」等功能，识别准确率、识别范围等性能全面领先行业，还能和车内驾乘人员进行深入交流与互动，这位未来的「家庭新成员」迈出了成长的第一步。
商汤绝影量产上车的多模态舱外识别功能包括三大能力，即前车识别、交通标志识别、沿途风光识别。
“懂车博士”——前车识别功能相当于把马路变成了流动4S店，也是大型的车型展览场，路上看到了喜欢的车型，或者不认识但又想了解的车型，随时随地就可以让车机这个“懂车博士”为你答疑解惑，从车型、价格、上市日期，到背后的发展历史，几乎无所不知。相较于已量产的同类功能，商汤绝影的前车识别功能认得更准、更多、更深、更新。前车识别准确率超过90%，能够识别的种类和范围非常广，尤其是豪车和小众品牌。甚至是伪装车、无车标等特殊外观，通过尾灯、外形、构造等品牌特点也可以识别。无论是已经不再生产的车型，还是上市不久的新车，都能够快速识别。
“随车教练”——交通标志识别功能是行业首发的产品能力，其他上车的多模态大模型都没有做到交通标志的准确识别。面对路面上越来越多的交通标志，即使是老司机有时候也会不知所措，反应不及。有了商汤绝影的「交通标志识别」功能，就相当于有了靠谱的驾校教练坐镇车内，交通标志的识别和解读信息不仅准确完善，车机系统还可以根据用户询问，给出驾驶建议，让司机驾驶起来更加安稳放心。
“地陪达人”——沿途风光识别功能能够进行车辆行驶途中的建筑物和景点的识别，准确率高，达90%以上。在此基础上，它还可以提供图文介绍，详细讲解景点和建筑，相关的历史典故、趣闻轶事等都能信手拈来，娓娓道出。如果对这个沿途风光感兴趣，用户可以询问车机，进一步了解信息，比如，朋友问你某个路过小区的房价，它也能轻松准确应对。不止如此，商汤绝影的沿途风光功能还能结合不同用户的需求，制定特色旅游路线并推荐给用户，如网红打卡路线、亲子欢乐之旅、高校游览路线、美食路线等，带来全新的智慧出行体验。
从冰冷的工具和机械式的助手，进化为「你的家庭新成员」，智能汽车正在经历一个逐步转型与成长的过程。商汤绝影的原生流式多模态座舱产品量产上车，舱外识别能力覆盖了座舱、汽车周边的环境，这意味着「家庭新成员」开始逐步认识世界、理解世界，迈出了成长的第一步。
这第一步迈得很踏实，首先，离不开商汤绝影强大的原生流式多模态大模型。在OpenCompass多模态评测榜单中，绝影多模态大模型的理解和推理能力排名榜首，以此为基础，「家庭新成员」能全面感知用户的语音、表情、手势、以及环境数据，并进行深度理解和推理思考。
同时，车端模型部署能力是智能汽车交互革新不可或缺的技术保障。商汤绝影在行业率先实现原生多模态大模型的车端部署，如今可实现首包延迟低至60毫秒以内，推理速度40 Tokens/秒。以云侧、端云结合、端侧等全栈方式灵活部署多模态大模型，商汤绝影能快速、准确响应用户的识别需求，并充分保护个人隐私和数据安全。
作为最专注于汽车行业的AI公司，商汤绝影在智能座舱领域具备丰富的量产经验。第三方调研数据显示，商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联冠军，座舱AI大模型产品已上车智己全系车型、LEVC L380等车型。截至2024年底，商汤绝影已与超30家国内外车企达成合作，覆盖100余款车型，量产交付累计突破350万辆。
