蜜途网
    首页 > 国内 > 为旌科技:车规软件架构及工具链对BEV+Transformer的支持

为旌科技:车规软件架构及工具链对BEV+Transformer的支持

来源:盖世汽车   时间:2024-04-29 13:31:16   阅读量:19086   

为旌科技成立于2020年8月,是国内顶尖的集成电路设计企业,拥有强大的图像处理能力和高能效的人工智能核心,能够提供优质的图像质量,并支撑复杂的AI计算场景覆盖智慧视觉和智能驾驶领域,全面支持客户在不同细分领域的芯片选型。

2024年4月17日,在第二届汽车人工智能大会上,上海为旌科技副总裁amp;联合创始人张晓峰谈到,在智能驾驶方面,已推出为旌御行系列行泊一体域控芯片VS919、VS919L、VS909,以高度集成、高性能、低功耗等特点为客户提供单芯片智能驾驶解决方案。产品内部集成ASIL-D级安全岛,同时提供整体的autosar解决方案。通过自研ISP支持高动态、全域降噪等需求,满足低光、强光及各种气象条件下图像还原,降低机器推理难度;自研高效能NPU和工具链,采用近存计算、乱序执行、多队列、多维度融合等先进技术,得到传统GPU计算数倍的有效算力,提供高质量解决方案的同时,降低了用户整体系统成本、研发成本和研发周期。

上海为旌科技副总裁amp;联合创始人

以下为演讲内容整理:

公司发展历程

为旌是一家专注于芯片研发与制造的企业,在座的嘉宾多为我们的上下游合作伙伴或业界同仁。自2020年8月成立以来,我们始终致力于技术创新与产品研发。2021年,我们成功启动了首个智慧视觉芯片项目,2022年实现了流片并一版成功,并于年底获得了首个客户订单,这标志着我们初步在市场中取得了认可。

图源:为旌科技

同年,我们进一步拓展了产品线,推出了智能驾驶芯片VS9系列。在研发过程中,我们同步开展了车规、以及ISO26262功能安全体系的建设工作,以确保产品符合行业标准。首颗车规芯片回片后,我们立即启动了AEC-Q100认证流程,并于2022年年底完成了某车企方案商的design in。

2023年,我们在北京隆重发布了智慧视觉旌海山系列芯片,其图像质量达到了业内领先水平。在智能驾驶领域,我们于2023年7月份通过了ISO26262体系认证,并在11月份成功获得了首颗车规芯片的AEC-Q100认证。同年12月,我们发布了为旌御行VS919系列芯片,并在本周一获得了VS919系列芯片的ISO26262功能安全产品ASIL-D认证,这进一步巩固了我们在行业内的领先地位。

VS919:国内首颗极致性价比的单芯片行泊一体

VS919芯片作为我们主打产品,以其极致性价比和行泊一体方案受到了市场的广泛关注。该芯片集成了满足ASIL-D等级的安全岛MCU,拥有8核A55、4核R5F以及两个支持96G算力的DSP。此外,我们还自研了24T算力的NPU,并对Transformer进行了加速处理。双核GPU的算力高达80G,支持3D渲染,确保了强大的图像处理能力。

在接入能力方面,VS919芯片同样表现出色,总接入能力达到3200万像素,可支持多达16路200万像素的输入,同时兼容12CAN-FD以及其他常用外设接口如PCIE、USB等。

值得一提的是,我们还自研了宽动态范围达到140dB的为旌遥光ISP,有效解决了车载视觉系统在复杂环境下的可见性问题。此外,智能编码模块支持H.264、H.265等多种编码格式,具备4K120fps的编解码能力,满足了高清视频处理的需求。

关于VS919单芯片行泊一体域控方案,我们采用了先进的传感器技术,支持5R7V12U等多种传感器接入方式。通过can接口接入5路毫米波雷达,通过SPI、GPIO接口接入12路超声波雷达,实现了全方位的环境感知。同时,我们还提供了丰富的车载以太网接口,支持与其他车载设备的连接与通信。

在软件方面,我们搭建了符合ISO26262:2018ASIL-D标准的嵌入式软件开发流程,并采用V模型覆盖整个设计和测试过程。我们定义了严格的编译规范、设计方法和验证标准,并提供了一套完整的满足ASIL-D等级的开发工具链。这些措施确保了软件开发的高效性和可靠性。

此外,我们还对车载软件部署进行了深入研究,提出了基于硬件算力单元的软件架构方案。我们主要在大核上部署SDK,并对接三方中间件,为客户提供了灵活的算法部署空间。同时,我们注重安全岛的建设,提供了ASIL-D等级的安全岛以及相应的操作系统和中间件支持。

在整体软件架构方面,我们实现了从AI算法到APP的全方位覆盖,并整合了雷达、毫米波等多种传感器数据。通过中间件实现通信管理、时间同步等功能,并通过硬件以太网支持DDS等通信协议。我们为客户提供了一系列软件库和工具,包括媒体处理、AI部署、DSP API以及图形渲染等方面的支持。

为旌科技的实践探索

目前,我们在MCU中内置了ASIL-D级别的安全岛,并提供了相应的API和CP协议栈支持。客户可以通过这些接口轻松调用我们的应用和服务。我们期待与更多的AUTOSAR合作伙伴携手共进,实现共赢发展。

现将我们构建的数据通道图展示如下:图中左侧支持两个800万像素的通道,辅以四条200万像素的环视通道,并增设一条300万像素的后视通道。

图源:为旌科技

在BEV模式下,四路环视信号需与前视信号保持同步时间戳,以便将相关信息传递至NPU进行BEV处理。若仅执行泊车功能,则需进行图像拼接。拼接算法部署于GPU上,,GPU执行拼接与渲染操作后,最终由VO负责显示。

值得一提的是,我们支持BEV+Transformer架构,提供高度灵活且可编程的算子支持。目前,我们已支持200多个算子硬件加速,支持混合精度量化等功能,能够有效支持Transformer模型的加速运算。

此外,我们还通过OBU模块支持可定义算子的实现。,经实际芯片评测,我们在CNN上的性能达到友商的1.5倍,而在SwinT上的性能更是友商的6倍。

我们的为旌星图工具链核心包含两部分:量化工具与精度评估工具通过工具链转化后,我们获得量化参数表与浮点部署模型。随后,利用编译器与性能评估工具进行优化处理,包括图优化、算子拆分与融合,以及与硬件直接相关的算子融合。最终将模型转换为硬件可识别的模型与指令,并通过我们的部署流程直接加载至芯片上。

图示为Yolov5在VS919芯片上的量化部署,芯片连接7个摄像头。显示器顶部为两个主摄,中间一排为环视摄像头,底部为后视摄像头。所有摄像头均朝向同一方向,充分展示7V的能力。在SwinT量化部署方面,我们首先进行模型准备与清洗工作,随后根据数据集类型选择相应的量化方法。经过模型量化后,生成中间量化文件,并利用我们的量化工具进行处理。最终,通过编译工具生成芯片可识别的文件,并通过部署流程加载至芯片上。目前,我们在性能上已达到竞品的6倍。

图源:为旌科技

展望未来,我们坚信合作共赢是发展的关键。作为旌科技这家专注于芯片研发的公司,我们致力于打造好用、易用、耐用的芯片产品,在算力底座方面发挥我们的专长。我们期待与更多的合作伙伴,包括中间件合作伙伴与算法合作伙伴,共同打造国产智能驾驶方案。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

猜你喜欢

游客在进入北京环球度假区时须核验北京健康宝和有效身份证件
游客在进入北京环球度假区时须核验北京健康

具体如下:北京环球度假区继续按照相关政府部门的限流要求,以预约入园的形式加强人流动态监测和...详情

2022-04-28
南非徐霞客在云南:从行万里路到吃百碗米线的文化之旅
南非徐霞客在云南:从行万里路到吃百碗米线

题:南非徐霞客在云南:从行万里路到吃百碗米线的文化之旅杜安睿来自南非,是一名国际注册会计师...详情

2022-04-10
广州新增3例本土确诊病例双层观光巴士全部停运
广州新增3例本土确诊病例双层观光巴士全部

广州新增3例本土确诊病例双层观光巴士全部停运广州市政府新闻办公室21日公布的信息显示,过去...详情

2022-03-22
北京环球度假区将开启环球中国年在表演队伍中与游客互动拜年
北京环球度假区将开启环球中国年在表演队伍

北京环球度假区将开启环球中国年北京青年报记者从北京环球度假区获悉,2022年1月22日至2...详情

2022-01-17