标签: 建模

在自动驾驶时代奔涌向前的路上， 仿真测试 早已不再是可选项，而是验证智能驾驶系统安全性、鲁棒性和泛化能力的 刚需 ，如何提升仿真测试的 保真度 已成为无法避免的重要话题。 这正是“ 数字孪生 ”出现的时代背景。本文为大家详细介绍 如何用传统与前沿结合的数字孪生构建流程 ，再配合 3DGS 的神经网络重建技术 ，为自动驾驶仿真测试注入真正的“现实之眼”。 一、从点云到高精地图的重建 依托独家的 aiData工具链 与 aiSim仿真平台 ，本文建立了一套 高精度数字孪生地图构建流程 ，已经广泛应用于布达佩斯 Kolosy广场、ZalaZone测试场等真实道路还原项目。整个流程包括： （左）带有标注的HD地图、（中）装饰HD地图、（右）aiSim中渲染 1、数据采集 采用搭载激光雷达（LiDAR）、高精度GNSS/INS系统的测绘车（如康谋DATALynx ATX4）执行移动激光扫描（MLS），通过aiData Recorder进行录制，主要路线至少绘制两次，确保 厘米级空间精度。 数采车示意图 2、点云聚合 使用 aiData Annotator 将多帧点云拼接为统一的全局坐标系，结合反射率、时间戳等多通道信息形成 高密度、低误差 的空间点集。 Tips： 详细数据采集精度和点云数据格式可联系康谋技术团队获取，可接受第三方数据，但建议在采集前与我们技术团队沟通优化策略。 3、高精地图建模 基于 聚合点云 手工标注道路元素：车道线、交通标志、人行道、护栏、红绿灯等。输出为GeoPackage格式的HD Map，用于自动驾驶系统参考。 ZalaZone试验场 LiDAR点云建模 ZalaZone试验场卫星参考图像 4、三维建模与装饰 借助 Atlas程序化建模引擎 ，生成道路、地形等基础结构，再通过aiSim Unreal插件手工装饰建筑、植被、街景设施，最大程度复现现实细节。为了获取最大精度，康谋将会采用 DCC工具 ，例如Maya、Blender、Substance等工具利用可用数据构建新模型； 二、颠覆性革新：NeRF 与 3DGS 重建 传统方式 固然精准，但 高成本、高周期、强人工依赖 ，难以支撑大规模、快速迭代的测试需求。 本文分享的 神经网络重建方案 ，则以 NeRF+ 3DGS 为核心技术，实现了从真实环境到仿真世界的跃迁： 1、仅需数日，完成街景重建 相比传统数月的手动建模，神经网络重建 只需几天时间 ，就能将采集到的图像和点云数据自动生成高保真的三维静态场景。 在aiSim中重建Waymo场景 2、进一步消除 Domain gap，场景逼真如实地拍摄 通过 DEVIANT算法 验证3D目标检测精度、Mask2Former测量像素一致性等方式，验证了神经重建场景在多摄像头视角下的 高可用性 与 仿真一致性 。 请查看最新发表的论文“Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation” 3、降本增效，拒绝重复建模 方案致力于告别繁复的建模软件与人工建模流程，实现 端到端自动化构建 ，大幅降低人力与制作成本。 4、场景增强与标准兼容 在生成的三维场景中，可 灵活添加动态对象 （车辆、行人、信号灯等），并 全面兼容OpenSCENARIO 标准，适配多种自动驾驶测试平台。 三、重建工作流：从采集到仿真部署 神经网络重建方案遵循高度自动化流程： 流程图 （1）数据采集： 使用DATALynx ATX4记录图像、LiDAR点云和自车位姿；推荐配置包括Hesai Pandar64、环视非鱼眼摄像头和NovAtel高精度组合导航系统。 （2）数据转换： 将原始数据转化为康谋格式，统一处理点云、图像和标定信息。 （3）自动标注： 利用aiData工具链去除动态目标、生成GT数据，实现非因果式追踪。 环视系统自动标注 （4）神经网络训练： 使用NeRF/3DGS算法生成高精度三维场景。 （5）仿真部署与增强： 在aiSim仿真平台中集成重建场景，配置不同环境（暴雨、夜晚、雪天）、多模态传感器（摄像头、LiDAR、毫米波雷达等）与虚拟交通流。 雨天场景 四、仿真世界，无需困于“假” 在自动驾驶技术快速发展的今天，数字孪生已从 简单的场景复制 ，进化为具备 真实物理特性的虚拟世界 。我们和众多同行们正在见证一场仿真技术的革命： （1）通过激光雷达的精准测绘确保厘米级精度 （2）借助3DGS/NeRF实现场景的智能重建 （3）融合传统与创新的技术优势 康谋致力于将 传统构建流程 与 前沿神经网络重建技术 相融合，用速度、真实与自动化重塑自动驾驶仿真测试的范式。

在智能座舱感知系统（如 DMS、OMS、安全带识别、儿童遗留检测等）逐渐从研发进入大规模部署的阶段，数据成为模型性能提升的核心瓶颈。尤其在现实采集成本高、隐私受限、长尾样本稀缺的前提下，越来越多客户将目光投向了“舱内合成数据”。 在与算法供应商和主机厂诸多客户的交流过程中，我们也观察到三个始终被反复提出的核心问题，本文为大家详细揭秘： 一、模态是否丰富，能否覆盖多任务模型需求？ 相较于传统车外感知任务，舱内感知往往涉及多种任务并发： （1）驾驶员状态监测（DMS）需提供 RGB、NIR、深度图、红外热图等； （2）舱内目标识别（OMS）需识别成人、儿童、宠物及其关键点； （3）安全带/手势/打电话等行为检测需使用语义分割或姿态估计； （4）基于时序的行为识别模型还需高帧率、长时间段的时序一致数据。 1、客户普遍反馈 “不是只有图像就够了，我们训练要同时用 RGB、深度、语义 mask，还需要完整的关键点标注。” 因此，一个面向舱内场景的合成平台，必须具备多模态输出能力： （1）支持同步输出：RGB、NIR、IR、深度图、分割图、关键点、动作标签； （2） 每一帧支持完整 2D/3D 标注（如人脸姿态、骨架、Bounding Box）； （3）模态间具备严格的像素级对齐与时间同步。 二、是否支持高度可控的“边缘舱内场景”构建？ 现实座舱中的极端情况是舱内模型失效的最大来源，例如： （1）小孩被遗留在车内后座但被玩具遮挡； （2）夜间父母怀抱婴儿但光照极弱； （3）多人乘坐，后排座椅被倒下遮挡视野； （4）驾驶员佩戴口罩、墨镜、低头、侧脸、疲劳、抽烟等行为混合出现。 1、客户直接表达 “这些是我们在真实测试中经常出错的场景，能不能直接构造出来，用来补训练集？” 所以平台需要具备： （1）多乘员、多体态、多遮挡物控制能力； （2）情绪、疲劳、注意力偏移等状态标签控制； （3）光照条件（夜间、背光）、遮挡类型（雨伞、杂物）、视角模糊模拟能力； （4）可脚本控制的场景生成引擎，如配置文件中直接设定“后排有儿童+玩具遮挡+车内弱光”组合。 只有能合成这些“长尾”和“不可采集”的场景，合成数据才具备真正补全实采数据盲区的价值。 三、合成数据真实度是否支持模型训练与部署？ 相比单纯用于验证，舱内合成数据平台的客户越来越倾向于用模型直接训练，这也就对“拟真程度”提出了更高要求： 1、客户真实需求 “我们担心合成图太假，训练完上车精度掉得厉害。你们的合成数据真实度有保证吗？” 为了让数据能用于实际训练，平台需要从三方面确保高拟真性： （1）真实人物建模 - 多体型、种族、性别、穿着、年龄段（尤其是儿童与老人）； - 姿态逼真（靠座、打瞌睡、回头、躺倒）； - 动作/表情基于真实骨骼驱动，避免“动画感”。 （2）真实座舱还原 - 车辆内饰结构完整，覆盖不同车型、座位布局； - 可配置装饰物（抱枕、饰品）、反光材质（玻璃、显示屏）； - 支持模拟不同车型的FOV、分辨率、摄像头位置偏移等。 （3）物理光照/材质真实感 - 支持真实 HDR 光照渲染； - 模拟 IR/热红外成像特性； - 加入模糊、噪声、运动拖影、畸变等现实感知特性。 为了达到可用于实际训练的效果，合成数据平台需要在图像质量、行为表现和传感器建模等多个维度具备高保真能力，确保模型在部署后具备良好的泛化性能。 例如，图像应能准确模拟真实摄像头的曝光、模糊和遮挡；人物动作需基于真实骨骼驱动而非静态拼接；同时还应支持多种模态协同输出，以满足训练对数据质量的一致性要求。 四、平台实现参考：Anyverse 的应用实践 在平台实现层面，Anyverse 提供了一个相对成熟的参考范式，覆盖了舱内感知数据合成中的多个关键环节。 1、模态生成方面 平台支持多通道同步输出，包括 RGB、NIR、深度图、红外图、语义图、关键点和动作标签等，满足多种感知模型的数据输入需求； 2、场景构建方面 平台可以灵活配置人物数量、姿态、遮挡物、光照条件等变量，以生成多样化甚至极端条件下的舱内场景； 3、图像与行为建模方面 平台使用物理渲染与骨骼动画系统，对座舱结构、乘员动作及其与环境交互过程进行了细致建模，提升了数据的真实感与一致性。 这些工程机制协同构成了一个面向规模化训练的合成数据生成基础，也为舱内感知模型在复杂环境中的表现提供了有力支撑。 五、合成数据应为舱内感知系统“数据主力军” 从客户反馈出发，我们始终认为： 合成数据的价值，不仅在于节省成本，更在于它能合成“你永远采不到、但必须要有”的关键场景。 真正面向工程落地的舱内合成数据平台，应同时满足以下三点： （1）模态丰富、标注完整 （2）边缘场景可控、可批量 （3）图像逼真、拟合实车部署 这将是支撑下一阶段舱内智能感知系统发展的关键基础设施。

随着汽车向智能化、场景化加速演进， 智能座舱 已成为人车交互的核心承载。从驾驶员注意力监测到 儿童遗留检测 ，从乘员识别到 安全带状态判断 ，座舱内的每一次行为都蕴含着巨大的安全与体验价值。 然而，这些 感知系统 要在多样驾驶行为、复杂座舱布局和极端光照条件下持续稳定运行，传统的真实数据采集方式已难以支撑其 开发迭代需求 。智能座舱的技术演进，正由 “采集驱动” 转向 “仿真驱动” 。 一、智能座舱仿真的挑战与突破 图1：座舱实例图 智能座舱中的AI系统 ，不仅需要理解驾驶员的行为和状态，还要同时感知乘员、儿童、宠物乃至环境中的 潜在交互风险 。其仿真面临 几大挑战 ： （1）行为维度复杂： 如疲劳驾驶、身体遮挡、婴儿误留、饮水打电话等多样行为难以统一采集； （2）环境变因多样： 如夜间光照、红外反射、遮挡物等情况干扰传感器判断； （3）隐私合规严苛： 特别是在儿童检测等场景，获取真实数据存在法律与伦理障碍。 这些因素决定了：高质量的、多模态的 合成数据与虚拟仿真 ，已成为智能座舱感知系统研发不可或缺的支撑工具。 二、合成数据：真实世界外的“数据宇宙” 在 智能座舱开发 中，获取高质量训练数据往往面临 隐私、成本和长尾场景覆盖不足 的问题。 合成数据 以其可控、高效、多样、合规等优势，正成为训练AI感知系统的重要资源。 图2：多种类型传感器下的合成数据（Anyverse） 相比真实数据， 合成数据具有以下优势： （1）全面多样： 可灵活生成不同人群、行为、座舱结构与环境变量组合，轻松覆盖极端和低频场景； （2）精准标注： 输出像素级真值、凝视向量、关键点、分割图等，省去人工标注； （3）高效合规： 不涉及真实乘员或儿童影像，天然满足GDPR等隐私法规； （4）可重复与可扩展： 相同条件下随时重建，便于模型对比测试与大规模数据扩增。 在 DMS、OMS、儿童存在检测（CPD）、安全带识别、宠物识别等 多个智能座舱感知模块 中， 合成数据 不仅作为训练数据使用，也广泛应用于模型验证、场景补全与鲁棒性测试。 三、研究积累：智能座舱仿真技术的支撑 智能座舱的核心 不再只是对驾驶员状态的检测，更在于理解人在车内的 各种行为与交互模式 。为了实现这一目标， 学术界 在近几年不断推进 舱内仿真与合成数据相关研究 ，这些成果也为 Anyverse 的平台能力提供了坚实的技术基础。 其中， CVPR 2023 发表的 BEHAVE 数据集是第一个聚焦全身人-物体交互的 大规模 3D 数据集 。该研究通过 多视角 RGB-D 采集与三维重建 ，精细还原了人类与日常物品之间的自然行为，包括动作接触点、物体遮挡、身体姿态等，为仿真平台构建乘员使用手机、饮水、与物体互动等细致行为场景提供了完整建模方案。 图3：BEHAVE数据集 在 视线与注意力建模方面 ， ICCV 2019 的 Gaze360 提出了无需设备佩戴的 3D 凝视估计方法。该数据集涵盖不同光照和姿态条件下的大量受试者样本，引入时间建模与不确定性表达，为驾驶员注意力评估和视觉交互训练提供了更加贴近实际场景的支持，也使得 Anyverse 能够更加自然地模拟驾驶员在不同状态下的凝视方向和关注点。 图4 ：Gaze360视线标注数据集 图5：Anyverse合成的打瞌睡的司机元数据可视化 这些研究标志着 舱内感知 正从静态姿态识别，逐步迈向对 复杂交互行为 和 多模态信息 的 深度建模 。 Anyverse 正是建立在这类前沿研究成果的基础之上，不断拓展其在角色行为生成、传感器仿真、多视角场景构建等方面的能力，助力智能座舱系统走向更加真实、可靠与安全的交互未来。 四、舱内多模态感知仿真平台 舱内感知系统设计的多模态仿真平台（ Anyverse ） ，覆盖从驾驶员监控（DMS）到乘员识别（OMS）、儿童存在检测（CPD）、安全带识别、红外仿真、雷达仿真等多场景需求。 图6：功能概览 图7：多样化的舱内合成数据 1、关键功能亮点 （1）多样化舱内合成数据生成 支持多年龄、种族、姿态的角色建模，覆盖儿童座椅状态、宠物遮挡、错误安全带系法等复杂情境，输出 RGB、IR、ToF、Radar 等多传感器格式数据。 （2）快速虚拟验证与闭环测试 适配 Euro NCAP、IIHS、China NCAP 等安全法规标准，提供像素级真值标注、行为追踪与模型性能可视化验证。 （3）物理级传感器仿真引擎 支持基于 SBR 技术的雷达建模、高保真红外与近红外成像、MIMO 系统仿真，输出雷达立方体与点云格式数据。 （4）开放、可复用的数据资产库 提供可自定义的角色、座舱结构、传感器布置与互动物体库，快速构建多变场景，显著降低研发成本。 凭借高保真仿真能力与多模态数据生成优势，Anyverse 展现出在整车厂、Tier 1 与算法研发团队中广泛部署的潜力，正加速舱内感知系统的训练与验证闭环。 五、结语：仿真驱动的智能座舱创新路径 智能座舱的真正挑战，不是识别驾驶员是否闭眼，而是理解“此时此刻车内发生了什么”。这需要多 模态、多角色、多行为的精准感知系统 ，更需要背后支撑它的，一整套高保真、低成本、标准对齐的 仿真机制 。 未来的人车交互，不止于响应，而源于洞察！ 参考文献： 1. Sundaram, S., et al. (2023). BEHAVE: Dataset and Method for Tracking Human-Object Interaction. CVPR 2023. 2. Kellnhofer, P., et al. (2019). Gaze360: Physically Unconstrained Gaze Estimation in the Wild. ICCV 2019. 3. Nguyen, T., et al. (2023). Synthevehicle: A Synthetic Dataset and Benchmark for Vehicle Interior Perception. WACV 2023.

软硬兼施 “ 第一性原理 ” 与 “ 分子动力学 ” 多尺度 并进 软件版权、建模、计算、 AI 统一解决 Ø 软件版权困扰，发文章不顺畅，不能总用盗版 Ø 计算机时哪里获取 Ø 材料计算下载一堆软件，学生望而生畏 Ø 不会编程，前处理后处理麻烦，数据放哪里，数据如何分析 面对上述困扰，北京迈高材云科技有限公司（迈高科技）推出了 高通量多尺度材料智能计算一体机 ——MatCloud 智算宏工作站 ，解决材料计算的软硬件困扰：基于 Quantum Espresso 量子力学内核及 LAMMPS 分子动力学内核，迈高科技进行了二次研发并形成了自主可控的 “ 云原生 ” 量子力学程序包和分子动力学程序包。它重新定义了材料多尺度计算的操作，将材料模型搭建、材料计算、结果可视化展示、材料数据库以及 AI 算法、模型和工具一体化置于智算宏内，采用 四路 GPU 服务器 搭配 MatCloud 自动化计算流程释放强大算力，助燃材料研究热潮。经严格测试，采用 MatCloud 智算宏工作站，在一致计算精度下，与商业化第一性原理软件相比，计算效率提高可达 20% 以上；与传统 CPU 服务器相比，计算效率提升可达 200%-500% 。 MatCloud 智算宏工作站，是 国内外首个兼具第一性原理和分子动力学的软硬一体化产品 ，不受任何软件版权困扰，无需苦恼于计算资源申请与核时 / 项目管理，无需困扰于软件编译与脚本式计算流程。 MatCloud 智算宏工作站放在办公室即可，通过笔记本网页登陆进行互联，供课题组多个学生使用，多用户、高并发的材料多尺度、跨尺度、自动化 GPU 高性能加速计算。 为了回馈广大用户，迈高科技于 2023 年 1 月 11 日下午 15 : 00-16 : 00 ( 周三 ) 举行线上 MatCloud 智算宏工作站新品发布会，届时为大家详细介绍功能特点。年前狂欢，福利不断，在严寒的 “ 三九天 ” 里感受来自迈高带给您的计算便捷。 发布会具体内容： l MatCloud 智算宏 具体 配置 及价格 l MatCloud 智算宏 效率提升效果 l MatCloud 智算宏 丰富的功能与案例演示 扫码进群即可参加 ( 免费 ) MatCloud智算宏工作站 具有如下 功能 特点： l 无需版权 ：基于开放内核自主研发，自主可控，无商业软件版权，同时支持第一性原理与分子动力学跨尺度并进。目前，使用开放内核软件发文量均逐年递增（引用量已超 22000和38000次）。 l 高性能计算工作站 ： 相较于传统 CPU ，结合 GPU 与 MatCloud+ 配置优化，第一性原理计算效率可提升 2-3 倍；分子动力学计算效率可提升 2-5 倍。智算宏 GPU 加速相当于 100~200 CPU 核的服务器性能。 l 高性价比 ： 相较于超算，租赁约 9 个月的 GPU 节点价格相当于永久使用的智算宏价格。相较于其它一体机，更高的配置，更低的价格，更好的全流程自动化软件搭配。 l 结构建模 ： 3D 建模：超胞、切面、自动加氢和分子、晶体及界面模型搭建等；高通量建模：随机取代、吸附建模、分子结构枚举、随机空位、 SQS 建模及 CE 团簇展开等 。 l 图形化界面工作流 ： 用户可自由拉取计算基本组件（结构优化、能带计算、力场分配、分子动力学等）进行组合，也可直接使用各类垂直领域模板（锂电 /石油/催化等）进行便捷设计传统复杂计算流程 。 l 结果分析 ： 计算模拟结果方便直接进行可视化展示和分析，文件 /数据/图可供下载保存 。 l 数据提取与查询 ：计算结果自动存储数据库，归档、永久保存。 l 机器学习 ： 设计数据流、训练流，自动特征提取，数十个机器学习算法调用。 欢迎大家参加迈高科技智算宏发布会 , 同时还有 多重好礼 ： 福利 1 ：多点赞多分享，前十享折扣。发布会当天截止点赞最多的十名用户免费使用 MatCloud+平台两周,赠送1000机时。前三名购买智算宏工作站依次享8、8.5和9折，四至十名享9.5折； 福利 2 ：参加发布会，所有小伙伴注册就有机会获得 500机时，并免费使用MatCloud+平台三天； 福利 3 ：配套培训课程、群内专业答疑服务支持！更多福利和消息请关注公众号 “高通量材料计算”（更多详情咨询群内老师） 参与方式 扫码进群即可参加发布会 发布会时间： 2023 年 1 月 11 日 星期三 15:00-16 ： 00 发布会形式：线上直播 ，免费

论坛坛友 一篇小猫夜灯建模，记忆精湛，成品精良。看得我心潮澎湃，于是乎萌生我也要学习建模的想法，说干就干。不信你们看 先附上原文链接： https://mbb.eet-china.com/blog/3854317-417931.html 先照猫画虎，划出一个外壳来。 生成一个实体 侧视看一下 修改倒角，美观第一。（前方高能预警。。。。） 忘了把中间抠出来了。改改就行。 哒哒哒哒哒 成了。 截面一看，咋是实芯的啊，这不是弄了个砖头吗，女票还不得拍死我 小改一下，问题不大。 OK了 总共耗时3分半，累死我了。然后弄个基准面出来，看看。 画个托台的截面，为了省事，其实不能这么做，因为尺寸不对头哈。 再看下，能过得去就行。 等下 哪里来的舌头，是嘲讽吗？？？哦，原来是，旋转搞得鬼，不要慌。切掉就行了。 侧视画个旋转切除，咔嚓一下不用愁，老衲洗头用飘柔。 切掉就行。 一千个人眼里有一千两哈雷摩托，所以我家的狗狗就长这个样子。 然后在画个精修小尾巴，专业人士，有备而来。 再画俩小耳朵，支棱起来。 最后画个小灯泡，注意啊，红点 是点睛之笔，意味着能参加德国红点奖。 打完收工。