标签: 3d

在自动驾驶时代奔涌向前的路上， 仿真测试 早已不再是可选项，而是验证智能驾驶系统安全性、鲁棒性和泛化能力的 刚需 ，如何提升仿真测试的 保真度 已成为无法避免的重要话题。 这正是“ 数字孪生 ”出现的时代背景。本文为大家详细介绍 如何用传统与前沿结合的数字孪生构建流程 ，再配合 3DGS 的神经网络重建技术 ，为自动驾驶仿真测试注入真正的“现实之眼”。 一、从点云到高精地图的重建 依托独家的 aiData工具链 与 aiSim仿真平台 ，本文建立了一套 高精度数字孪生地图构建流程 ，已经广泛应用于布达佩斯 Kolosy广场、ZalaZone测试场等真实道路还原项目。整个流程包括： （左）带有标注的HD地图、（中）装饰HD地图、（右）aiSim中渲染 1、数据采集 采用搭载激光雷达（LiDAR）、高精度GNSS/INS系统的测绘车（如康谋DATALynx ATX4）执行移动激光扫描（MLS），通过aiData Recorder进行录制，主要路线至少绘制两次，确保 厘米级空间精度。 数采车示意图 2、点云聚合 使用 aiData Annotator 将多帧点云拼接为统一的全局坐标系，结合反射率、时间戳等多通道信息形成 高密度、低误差 的空间点集。 Tips： 详细数据采集精度和点云数据格式可联系康谋技术团队获取，可接受第三方数据，但建议在采集前与我们技术团队沟通优化策略。 3、高精地图建模 基于 聚合点云 手工标注道路元素：车道线、交通标志、人行道、护栏、红绿灯等。输出为GeoPackage格式的HD Map，用于自动驾驶系统参考。 ZalaZone试验场 LiDAR点云建模 ZalaZone试验场卫星参考图像 4、三维建模与装饰 借助 Atlas程序化建模引擎 ，生成道路、地形等基础结构，再通过aiSim Unreal插件手工装饰建筑、植被、街景设施，最大程度复现现实细节。为了获取最大精度，康谋将会采用 DCC工具 ，例如Maya、Blender、Substance等工具利用可用数据构建新模型； 二、颠覆性革新：NeRF 与 3DGS 重建 传统方式 固然精准，但 高成本、高周期、强人工依赖 ，难以支撑大规模、快速迭代的测试需求。 本文分享的 神经网络重建方案 ，则以 NeRF+ 3DGS 为核心技术，实现了从真实环境到仿真世界的跃迁： 1、仅需数日，完成街景重建 相比传统数月的手动建模，神经网络重建 只需几天时间 ，就能将采集到的图像和点云数据自动生成高保真的三维静态场景。 在aiSim中重建Waymo场景 2、进一步消除 Domain gap，场景逼真如实地拍摄 通过 DEVIANT算法 验证3D目标检测精度、Mask2Former测量像素一致性等方式，验证了神经重建场景在多摄像头视角下的 高可用性 与 仿真一致性 。 请查看最新发表的论文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation” 3、降本增效，拒绝重复建模 方案致力于告别繁复的建模软件与人工建模流程，实现 端到端自动化构建 ，大幅降低人力与制作成本。 4、场景增强与标准兼容 在生成的三维场景中，可 灵活添加动态对象 （车辆、行人、信号灯等），并 全面兼容OpenSCENARIO 标准，适配多种自动驾驶测试平台。 三、重建工作流：从采集到仿真部署 神经网络重建方案遵循高度自动化流程： 流程图 （1）数据采集： 使用DATALynx ATX4记录图像、LiDAR点云和自车位姿；推荐配置包括Hesai Pandar64、环视非鱼眼摄像头和NovAtel高精度组合导航系统。 （2）数据转换： 将原始数据转化为康谋格式，统一处理点云、图像和标定信息。 （3）自动标注： 利用aiData工具链去除动态目标、生成GT数据，实现非因果式追踪。 环视系统自动标注 （4）神经网络训练： 使用NeRF/3DGS算法生成高精度三维场景。 （5）仿真部署与增强： 在aiSim仿真平台中集成重建场景，配置不同环境（暴雨、夜晚、雪天）、多模态传感器（摄像头、LiDAR、毫米波雷达等）与虚拟交通流。 雨天场景 四、仿真世界，无需困于“假” 在自动驾驶技术快速发展的今天，数字孪生已从 简单的场景复制 ，进化为具备 真实物理特性的虚拟世界 。我们和众多同行们正在见证一场仿真技术的革命： （1）通过激光雷达的精准测绘确保厘米级精度 （2）借助3DGS/NeRF实现场景的智能重建 （3）融合传统与创新的技术优势 康谋致力于将 传统构建流程 与 前沿神经网络重建技术 相融合，用速度、真实与自动化重塑自动驾驶仿真测试的范式。

CAD质量检查器 安宝特3D Evolution质量检查器可基于多种规则对CAD图形质量进行检测，是 唯一通过SASIG和VDA规范认证的转换工具 。 它可以 自动 且准确地 识别、检查 模型中存在的错误，并提供特定 自动修复和交互式清理 功能，可以对模型质量进行批量检查和处理，大幅提升工作效率。 01 VDA 和 SASIG 质量检查 3D Evolution©质量检查器是 唯一通过 SASIG/PDQ 和 VDA 4955/2 规范认证的转换工具 ，可验证几乎所有CAD 格式的3D几何图形。 它可以 自动且准确 地将面、曲面、曲线和拓扑上的错误显示在模型上，使用者也可以在检查器树状结构中的错误类型列表中系统地选择几何图形和清除错误。 3D Evolution还具有 特定自动修复和交互式清理 功能，可用于VDA检查相关错误，例如扭曲面、迷你面等。 根据应用或客户要求，3D Evolution还可以 保存包含相关测试标准的测试配置文件 。其结果文件符合 SASIG/PDQ 和 VDA 4955/2 规范，并可以保存为 HTML 格式。 与所有其它功能模块类似，3D Evolution©质量检查器可以应用于单个部件或组件，也可以以 批量处理模式 运行。 02 LOTAR GVP 验证 该工具是与 航空航天行业 密切合作开发的，用于验证 长期存档和检索 (LOTAR) 的 CAD 数据 。 3D Evolution可以读取并验证CAD系统软件生成3D模型时，写入到STEP AP 242文件的 几何验证属性（GVP）数值 。属性值与计算值如在给定的公差范围内出现偏差，软件将自动显示这一问题。以下是GVP的示例：• 几何，例如体积、表面、质心和 COPS • 装配，例如，子级数量和实心质心 • PMI，例如折线曲线长度比较 • 曲面细分，例如质心和表面积 • 复合材料，例如，序列和切片的数量此外，软件会创建一个 满足所有 LOTAR 要求的日志文件 。当然，这一过程也可以批量执行。 03 JT数据检查 JT格式为描述结构和几何图形以及镶嵌信息提供了许多不同的可能性。要 检查应用程序创建的JT文件是否符合特定标准 ，JT检查器是一个简单的解决方案。通过 用户自定义的配置文件 ，JT检查器可以 一键检查所有相关的标准 ，例如： • XT 或 NURBS B-REP 的几何 • LOD 标准 • PLMXML 装配路径 • 单位、元数据和名字等属在检查名字标识符之后，它还可以 自动更正特定模型的名字 。通过用户定义的配置文件，可以很容易地验证数据是否获得批准，例如，与戴姆勒的JT数据交换。 此外，基于几何验证属性（GVP）的检查，例如STEP AP 242，也可用于JT格式。 04 特征和链接检查 为了审查模型的质量（如CATIA V5、NX、SOLIDWORKS和Creo等格式），该工具提供了 检查特征参数或链接连贯性 的最小值和最大值的功能，例如，检查3D模型和图纸之间的链接是否可用。如果检查到有不存在模型的错误链接，还可以检查装配结构。 关于我们 安宝特专注CAD软件，旗下产品能够有效提高CAD工程数据的互用性，轻松实现格式无损转化，集几何简化、有限元工具、高级分析等强大功能于一体。 安宝特致力于用科技，共创CAD高效协同新纪元！

产品导览： 安宝特3D Evolution具有强大的3D CAD模型转换功能，可在保留模型特征参数、注释、约束的前提下，完成不同格式3D CAD模型的无损转换 保留完整功能的CAD转换 3D Evolution©Feature Based是一款 基于特征进行格式转换 的插件，能够帮助我们可以实现3D CAD模型在不同格式之间的智能转换 它 支持24种主流3D CAD格式 ，包括CATIA V5 & V6、NX、Creo、SOLID WORKS、Inventor等等 本地阅读器可以在不访问原模型系统许可证或API的情况下，直接从二进制文件中提取模型的完整历史、特征和参数信息以及 B-REP 它能够 完整地保留草图、约束和注释的特征，包括3D PMI和元数据。 为了更好地适应目标CAD系统，3D Evolution还可以对模型的历史进行自适应优化，完成对所有参数、特征的自动重置 正因如此，3D Evolution可以实现 装配和零件的模型历史树、特征、参数的无损转化 ，是进行格式转换的不二之选 可靠性检验 为了检验转换的完整性，软件的对比功能还将 对转换前后的两个模型进行比较 当检测到差异时，日志文件会将最大的偏差列出，并 创建一个CT或3D PDF格式的轻量级可视化模型来凸显差异 草图约束 在使用3D Evolution进行转换后，具有如拉伸、填充、放样等特征的草图，还会 保有设计师在原系统中创建的约束和注释 这就使我们更容易理解并延续初始的设计意图，更好地进行模型设计与优化！

探测仪阵列是现代化多分层CT扫描仪的基本元器件，能够感测X射线辐射，然后将其转换为数字信号。 作为光学解决方案领域的引领者，艾迈斯欧司朗正进一步发展其领先的成像传感专业技术，以更低剂量实现前所未有的图像质量，针对三边和四边可拼接选项提供一系列高性能解决方案，包括面向未来的Photon Counting技术。 CT，即计算机断层成像技术。 在医疗领域，CT对人的健康管理，包括一些疾病检测有着非常重要的意义。在工业领域，CT为我们提供了透视物体的窗口，它多是跟安检相关的应用，是安全监控的中流砥柱。 众所周知，艾迈斯欧司朗在全球健康监测领域深耕多年，基于其效能卓越的光电传感器，不断迭代更高性能的解决方案，提供低噪声、超低功耗和高读出速度的产品，通过产品的演进和组合，持续协助个人更准确进行健康管理，助力健康监测功能的迭代和进步。 因此，就医疗和工业CT影像探测器芯片的应用及解决方案，包括对于下一代基于光子技术Photon Counting的技术展望，艾迈斯欧司朗资深现场应用工程师孙凯都有着自己的见解。 1、 原理解析：医疗CT工作的“幕后故事” CT的工作原理就是用X线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的X线，转变为可见光后，由光电转换器转换为电信号，再经模拟数字转换器转换成数字，输入计算机处理后形成图像。 而从架构分解，CT主要包含： 发射源：其能发出高能射线X-ray，它是一个穿透性强的高能谱的射线； 配备接收器的sensor底板； 同时，发射端和接收端都位于摇臂上，即一个旋转部件，从而实现在整体的平板和人构成的空间内进行旋转探测。 为什么需要旋转呢？ 可以看出，如果是静态的检测，相当于把人通过光学切片了，但它是横向切片的，探测器接收到的是一个平均的衰减系数，没法确认什么是骨头、什么是皮肤，什么是肌肉。 而如果CT能旋转360°，就可以在任何角度进行照射切片，形成一个数据矩阵。这个数据矩阵得出以后就很好地还原人身体中各个不同组织的衰减系数，CT值就代表不同组织部位的衰减系数。均匀组织其实是均匀的衰减系数，如果其中有病灶，病灶就会呈现不同的衰减系数，医生就可以很好地观察到这些病灶的特征，这是CT需要旋转的原理。 孙凯指出：“当然CT也在不断发展，Z sensor 这个指标代表了其机型的高低端配置。”目前主流分为3大类：低端，即小于32 slice，就是同时能切片32个部位的CT，比如6排、8排、16排、32排都算做低端CT；中端是同时能切片64~128 slice，也就是说螺旋切片的速度会更快，它的切片速度也是更均匀、更快速；高端CT都是大于128 slice，即256甚至更高排数的。 2、 布局：艾迈斯欧司朗的“内功”？ “我们在CT里面是做探测器部分的传感器芯片，包含整体的芯片和模组， 分立和集成方案兼备 ，”孙凯介绍道。 上图中间部分即是艾迈斯欧司朗在CT领域专用的一个传感器技术，也叫CT Modules。 据介绍，艾迈斯欧司朗的医用CT应用解决方案主要分为以下几种： 第一种为CT Sensor Interfaces，即ADC接口，这类是不包含传感器的，PD可以由客户自己定义、自己选择。 这其中第一类的128通道的AS5900，艾迈斯欧司朗现已实现大量量产；随后是256通道的AS5911，这个产品现在已经是B sample阶段了，然后256通道带T的AS5911T，就是带钨层保护，也就是集成保护式的AS5911；最后的512通道的AS5912艾迈斯欧司朗也已经同步tapeout，这些产品相信不就的将来就能马上面市。 第二类是艾迈斯欧司朗想要特别突出的优势产品，即集成了PD和ADC的产品。 已经量产的有两类：16线，64通道的一个CT Sensor AS5950；32线，128通道的产品AS5951。而64线，256通道的产品AS5952目前仍在开发之中。 第三类就是艾迈斯欧司朗面向Photon Counting技术配备的产品 ，叫AS5920。 据孙凯介绍，Photon Counting由于其对材料的特殊要求（例如碲化镉，碲锌镉），目前成本仍然很高，但艾迈斯欧司朗看好其代表的前景，特别是在CT领域的前景，因此，艾迈斯欧司朗配备了AS5920的接口产品来对这个新兴市场的需求进行匹配。 以艾迈斯欧司朗最为优势的产品线AS595x为例，这类产品是集成了PD和ADC的CT Sensor，用于16~64线的CT探测器。 在这类产品中，艾迈斯欧司朗将PD和ADC封装设计在一个Die中，这类方案对工艺提出了较高要求，因为两边是不同的材质，通过同样的工艺在一个Die上进行流片。当然这也带来整体优势，相比传统的分立方案，一方面无须额外设计走线，更容易集成；另一方面也会带来更好信噪比及更低功耗。 据悉，在集成方案中，艾迈斯欧司朗的下一代产品就是AS5952，一款用于64线CT的产品，目前已经tapeout了，应该是在2022年就能达到相应的B Sample阶段。孙凯直言款产品也将是非常有优势的一款方案，在功耗、信噪比和集成度优势的情况下，也控制了相应成本，将更大化满足到客户的应用需求。 3、 扩圈：工业安检如何应用？ 工业CT具有和医疗CT相同的原理，但就市场需求等特点，2者的要求又大相径庭。孙凯指出，医疗行业整体的市场份额，包括用量每年的更新都比较稳定，但是工业领域的用量不像医疗领域那样集中，同时客户需求也更多变。因此，面向工业CT领域，艾迈斯欧司朗的产品布局是 以分立方案为主打 ，主推分立ADC方案，由客户自己搭配PD使用。 3款分立ADC方案： 根据不同尺寸的PD ，客户可以自己选择对于的ADC接口。艾迈斯欧司朗现已量产的是128通道的AS5900，这个产品是10×10mm的BGA。 除此之外，还有256通道的AS5911和512通道的AS5912。据悉，AS5911这款产品现已拥有B Sample了。 4、 面向未来：Photon Counting带来的新挑战 从目前来看，Photon Counting落地到真正的民用、医用，还是有很长的路要走。但是它所带来的优势和影响毋庸置疑。 孙凯介绍称，Photon Counting的主要优势是它完全替代了传统CT的架构，没有ADC在里面，Photon Counting中没有闪烁体，而是由碲化镉和碲锌镉这层材料直接把光子转换成数字信号。 因此，Photon Counting大大提高了直接转化的流程，整体需要的dose ratio会提高50%，所以，整体的辐射量也能对应下降50%、40%，如此，对人体的安全性就更有保障。 所以，Photon Counting是一个划时代意义的突破，理论上，它并没有模拟噪声，所以整体的信噪比会很高，因此即使输入的范围、能谱很小，但仍然能得到更高质量的成像，更高质量成像意味着医生对病灶的分析，尤其是一些小病灶或者特殊的情况的漏检率会大大降低。 如果Photon Counting技术成熟稳定以后，可以说是完全是颠覆级别的一个产品，是革新级的一个探测技术。 面对Photon Counting所带来的革新应用和潜力前景，艾迈斯欧司朗积极布局，288通道数的 AS5920 正是其用于Photon Counting接口的产品。据悉，AS5920的特点是四面可拼接，可以做3D的产品，也即无限的slice拼接， 可以无限扩展 。 当然Photon Counting的工艺特殊性也对厂家提出了不少挑战，例如整体的焊接工艺和可靠性。目前，Photon Counting因其高成本和高技术含量也只是几个大的玩家在参与。

裸视3D显示器源自人们在视觉上对于沉浸体验的渴望，无须配戴任何装置，就能享受身历其境的3D影像，如同未来科技般的神奇。3D影像对消费者的感官冲击远比2D影像更加强烈，容易引发消费者对新科技之好奇及关注，也增加人们与科技之间的互动。 图 : 裸视 3D 笔电 ( 来源 : ASUS 官网 ) 3D显示器应用生态广泛，可用于娱乐、医学影像、展览、广告营销等，像是3D电影和3D 电子广告广告牌便是比较常见的应用。而为了满足个人娱乐享受和创作需求，已有厂商推出了裸视3D屏幕、裸视3D笔电和裸视3D平板等等产品，但这些产品真的能够满足消费者对于3D立体特效的期望吗？而这类型的产品真的够黑科技吗？ 从使用者情境应用及客诉回馈中，百佳泰影音产品顾问团队分析归纳常见问题如下： 3D影像运行不流畅，甚至会以2D短暂呈现 眼球追踪准确度不佳而造成3D影像的呈现达不到理想效果 未经过3D处理的影片或游戏，在3D呈现上效果不彰 图 : 3D 图像处理影片 ( 来源： Side by side) 实测案例分享 现阶段3D显示器属高单价产品，相对地消费者当然会用高标准来检视其使用体验。某厂商接连收到客诉反馈后，在多方打听下，联系上百佳泰影音产品顾问团队。百佳泰在了解客诉原因后，依据长年的测试经验，分析归纳问题的现象及原因并立即回馈给客户： 第一类问题 – 效能问题 显示适配器效能不足 系统硬件兼容性问题 3D显示器搭配使用的3D软件问题 第二类问题 – 眼球追踪 此问题与产品韧体较为相关，在产品开发阶段，需要考虑到使用者各种不同的使用情景，而这些不同的因素都有可能影响到眼球追踪准确度，包含 ： 不同人种 使用者头部、眼球动作 各式的饰品的配戴 以上述的“眼球追踪”问题为例，百佳泰影音产品顾问团队熟知3D显示器各种不同的应用场景，在拟定设计验证计划时就会将以下的使用者情境纳入考虑范围，例如： 男女老少 不同的肤色、身高 两眼距的长短、眼球颜色、眼睛大小 使用者不同的观赏距离与角度 穿搭、发型、饰品 (如帽子、眼镜、耳环) 等等，这些都是眼球追踪判断的重要影响因素。 另外，『3D影像是否够真实?』也是使用者在乎的问题之一。依照目前应用生态的现况而言，如果影像来源是未事先处理的一般影片或游戏，即使经过3D显示器产品搭配的3D软件处理， 3D呈现的效果仍然有限。但如果是有支持3D的影片或游戏，(如Steam上的3D游戏)，在裸视3D笔电或裸视3D屏幕上就能发挥期待的呈现效果，让人沉浸在魔幻般的3D立体世界。 裸视3D产品与相关应用不断研发与进步，要达到如同电影未来科技一般的3D影像与互动，相信指日可待。