标签: HPC

智能汽车应用生态的需求高速成长 近年来全球车用半导体芯片市场大幅快速成长，根据摩根士丹利(Morgan Stanley) 2023年所发布的 最新报告 中指出，未来五年内的汽车高效能运算 Automotive HPC （High-Performance Computing） 半导体市场将会整整成长三倍，整体潜在市场估计将于2023年达到20亿美元，并且在2027年增长至60亿美元，年复合增长率(CAGR)为可观的29%。与此同时，受惠于汽车高效能运算芯片客制化设计需求的增加，芯片设计服务厂的预估累积收益可望在未来五年内提升多达20亿美元。 ［应用技术考虑］高速实时运算、数据沟通与传输 在新的连网汽车发展趋势下，高速数据通讯与 Automotive HPC 高性能运算平台需针对车辆内部各个电子控制单元ECU（Electronic Control Unit）进行整合管理与运算处理；因应不同ECU数据流量与低延迟需求， Automotive HPC 也需要搭配符合PCIe标准与AEC-Q100认证的PCIe封包切换器，藉此实现与各端点之间的高速整合、沟通与传输。 以「高频毫米波雷达应用」为例，各雷达感测数据将经由ECU再集中到 Automotive HPC 的实时图像处理单元。因此这类高流量实时图像处理需要搭配高速、低延迟、高可靠度且同步实时性良好的传输接口，例如传输速度可达10Gbps的Automotive Ethernet MultiGBASE-T1： 与PC主板概念类似； Automotive HPC 是透过PCIe信道搭配CPU、内存、I/O接口进行平台式的架构整合，如此才能整合控制车内各个ECU的沟通与运算。 各种不同类型的高速实时运算与应用： ✔ 传感器环境信息实时判读 ✔ 智能座舱／用户体验相关数据运算 ✔ 车辆控制／云端、物联网服务相关沟通与运算 ✔ 自驾功能的实时高速运算 ✔ 车辆安全与传感运动之高速运算／集中处理 从上述介绍中我们不难发现，Automotive HPC在 高频高效能运算电子组件 、 高速传输接口 以及复杂运算处理、资源分配的特性，再 搭配上各种 车辆的复杂应用情境条件 ，都再再证明了Automotive HPC对整个平台的讯号传输实时处理、系统稳定度、耐久度、兼容性与安全性的要求上有多严苛。 图片：在瞬息万变的行车过程中，任何HPC的潜在问题都有可能影响车辆操控、导致重大车祸发生，不可不慎。 智能汽车应用生态的潜在风险与危机，及开发上的挑战 开发者对 Automotive HPC 应用生态的熟悉度，可能力有未逮 大多数车厂或Tier1开发者缺乏PC领域/组件的相关开发经验及专业，对于Automotive HPC这种高度整合、高效能的平台方案不见得熟悉。 例如2021年Tesla就曾因闪存使用耐久度/寿命问题导致召回事件。 而造成此问题的原因便是车厂开发人员对 PC 相关组件规格与设计方案不够熟悉： 图片出处： eeNews Europe 开发者对 Automotive HPC 用户情境的事前评估与规划，可能有所不足 举例来说，在实际的应用情境 (User Scenario)条件下，当车辆环境温度变化较大，HPC组件就容易遭遇到高温条件的考验。CPU过热而运行缓慢或重新启动的状况下，就可能导致车机中控屏幕无法显示后视摄影机影像、换文件选择、挡风玻璃能见度控制设定以及警示灯，进而增加事故风险。 Tesla在2022年就曾因CPU过热问题导致召回事件。 此问题肇因于「高温条件」用户情境仿真并未在开发阶段被考虑： 图片出处： Electrek 隐藏在其它应用情境（ User Scenario ）背后的潜在危机 无线讯号质量差或延迟， 导致车主无法实时接收路况信息 传输错误率过高或噪声影响， 导致车辆功能错误、无法正常运作 智能座舱功能错误或反馈过慢需反复操作， 导致驾驶难以专注路况 高温环境、震动或耐久度差， 导致车辆系统容易发生故障现象 资安问题或黑客入侵， 导致车辆运作失能，恐酿车祸危害人身安全 智能座舱与用户手机、接口设备兼容性问题， 导致相关功能无法正常运作 这些应用风险可能来自于开发阶段的一些常见问题： 开发阶段 Automotive HPC 搭配高频传输接口时的常见问题 阻抗不匹配 时间延迟 噪声过多 衰减过大 误码率过高 讯号强度不足/异常 格式不正确 而之所以会导致这些问题发生，主要可能是开发人员遇到了一些难以跨越的挑战与瓶颈： 大多数车厂或 Tier1 开发者可能会遭遇到的技术门槛 缺乏高速高频测试经验 仪器设备的资源有限 验证环境的不易架设 新技术的导入能力有限 测试规格标准未能实时更新 用户情境仿真或测试手法的设计难度较高 欠缺专业验证人员的顾问咨询，以及测试验证的实务经验

你是否对人工智能(AI)感到好奇？你是否想要了解GPT如何改变我们的生活？你是否对并行计算和高性能计算（ HPC ）有所耳闻，但又对其知之甚少？ 如果你的答案是肯定的，那么这门课程就是为你量身定制的！ 在这个AI的时代，我们的课程将带你深入了解并行计算和 高性能计算 的奥秘。你将学习如何利用 超算 （Supercomputing）的力量，来解决现实生活中的复杂问题。 人工智能（AI）的浪潮正在全球范围内席卷而来，无论是在科研、工业、医疗，还是在我们日常生活中，AI的影响力都在日益增强。然而，AI的发展并非凭空而来，它的基础——高性能计算（HPC）在其中起到了至关重要的作用。只有掌握了高性能计算相关的技能，我们才能在未来的AI领域中获得更好的机会。 首先，让我们来看一个例子。GPT，也就是我们熟知的生成预训练转换器，是一种基于AI的自然语言处理模型。它能够生成与人类几乎无法区分的文本，被广泛应用于机器翻译、问答系统、聊天机器人等领域。然而，GPT的训练过程需要大量的计算资源，这就是高性能计算发挥作用的地方。通过并行计算，我们可以将复杂的计算任务分解成多个子任务，同时在多个处理器上进行计算，大大提高了计算效率。这就是为什么我们可以在短时间内训练出GPT这样的复杂模型。 再来看一个例子，自动驾驶。自动驾驶汽车需要实时处理大量的传感器数据，包括图像、雷达、激光雷达等，以便做出正确的驾驶决策。这种大数据处理的任务对计算能力的要求极高，而高性能计算正好可以满足这种需求。通过高性能计算，我们可以在短时间内处理大量的数据，实现自动驾驶汽车的实时决策。 最后，我们再来看看AI在医疗领域的应用。AI可以帮助医生进行疾病诊断，例如通过分析医学影像数据来检测肿瘤。这种任务需要处理大量的医学影像数据，而且需要在短时间内给出结果，这对计算能力的要求非常高。高性能计算可以帮助我们快速处理这些数据，提供准确的诊断结果。 以上这些例子都说明了一点，那就是高性能计算是AI发展的基础。无论是GPT的训练，还是自动驾驶的决策，或者是AI在医疗领域的应用，都离不开高性能计算。因此，掌握高性能计算相关的技能，对于我们在未来的AI领域中获得更好的机会至关重要。 然而，高性能计算并不是一项简单的技能，它需要深厚的计算机科学基础，包括 并行计算 、分布式系统、计算机体系结构等。此外，还需要对相关硬件，如CPU/GPU、FPGA等有深入的理解。因此，学习高性能计算是一项长期的任务，需要我们投入大量的时间和精力。 但是，这并不意味着高性能计算是一项无法攀登的高峰。事实上，随着教育资源的丰富，我们可以通过在线课程、工作坊、实验室项目等方式，逐步掌握高性能计算的相关技能。 无论你是AI新手，还是有一定基础的学者，这门课程都将帮助你提升技能，开启你的AI之旅。

公司简介 DNV GL 是全球领先的能源、石油和海事行业风险管理及资产绩效提升的软件供应商，主要为客户提供全面的风险管理和各类评估认证服务，认证涉及信息通信技术、汽车及航空天、食品与饮料、医疗等方面。 DNV GL以让世界更安全、更智能、更环保为使命，为海事、石油、天然气和能源行业提供技术保证和独立专家咨询服务。该公司为来自100多个国家的客户提供分类服务，得到了16000名专业人士的支持。 在该公司成立150周年之际，DNV G提出了四个关键目标： 1. 创造一个安全和可持续的未来 2. 缓和从技术到改革的转变 3. 适应不断变化的气候 4. 定义航运的未来 面临的挑战 为全球石油和天然气行业的领先技术顾问，DNV GL需要及时且高度准确的计算功能，为可行各业客户提供一致且完整的分析服务。 DNV GL的一个项目是评估防喷器 （BOP）的流体动力学。传统上，BOP受限于维护时间可能导致运营停机时间增加，例如非结构化维护管理、可靠性降低和设备大修。 计算流体动力学（CFD）仿真软件有助于预测流体流动对海上石油钻井平台和相关产品等结构的影响。CFD仿真软件的流体流动分析功能可用于设计及优化新设备、对现有安装进行故障排除等。 为了进行流体动力学评估，DNV GL公司需要使用高性能计算在石油和天然气结构上运行计算流体动力学（CFD）。此外，该公司还依赖ANSYS® Fluent®软件进行广泛的物理建模，以确定工业应用的流动、湍流、传热和反应—以进行网格划分和准备仿真参数。总体看，该项目的数据总计4000万个单元。 然而，对于DNV GL而言，想要获得HPC资源具有很大的困难。由于该公司的核心集群可用性有限，即便在两个地方拥有2000和 7000个集群核，但还不足以运行外流、进行深水数据分析以及进行如此大的计算。 “我们部门负责通过有限元分析和计算流体动力学为石油和天然气客户提供最先进的分析—我们非常需要高性能计算，然而，我们的基础设施难以胜任这项任务。” —DNV GL的深水技术工程师 卡拉博士 为了应对上述挑战，DNV GL选择了HK-Nimbix，使用该公司基于云的HPC基础设施和应用程序。 高性能计算解决方案 ANSYS®（大型通用有限元分析软件）推荐DNV GL使用Nimbix高性能计算套件（HK-Nimbix），Nimbix混合云由JARVICE平台提供支持—作为HPC处理的公共和私有工作负载之间的网关。其用户友好的API完全简化了数据处理周期，可帮助DNV GL公司创建量身定制的工作流程，同时构建一个友好的工作环境，更有效地管理和加速工作负载处理。 在首次测试中，DNV GL利用ANSYS® Fluent®在平台上提交任务，该ANSYS+Nimbix组合解决方案立即被用于提交和执行任务，其中案例、数据和日志文件通过VPN连接从本地计算机来回拷贝，然后复制到Nimbix HPC云服务。 卡拉博士说：“使用HK-Nimbix后，我们发现工作流程原来可以如此简单和流畅。据需要的容量和数据处理速度，HK-Nimbix为我们精心设计了强大的HPC云，它可以支持交付工作所需的时间线，同时又不超出我们的预算，这样可以确保我们更好、更快地进行计算！” 结果 ANSYS® Fluent®和Nimbix JARVICE平台的结合有助于提高DNV GL的盈利率，不仅帮助该公司创建更快的计算模型、提高客户服务质量，还建立了客户群，提高了石油和天然气行业客户的服务质量和效率。 HK-Nimbix客户支持模型帮助DNV GL快速解决任何集成问题：“Nimbix的客户支持堪称完美。我们公司正在一个度复杂的行业中运转，需要快速回答和快速计算。当我们开始使用Nimbix后，其专家团队总是及时出现，无缝、高效地帮助我们推出了防喷器 （BOP）项目。”卡拉说道。 未来发展计划 基于BOP项目的成功，DNV GL准备在未来几个月内扩展ANSYS® + Nimbix组合—将高性能计算完全集成到该公司的分析基础设施中。 使用HK-Nimbix，DNV GL公司非常有信心落地新的项目，例如： ▪ Nuwave：DNV和MARINTEK正在启动一个项目，其目标是使用CFD解决与海洋/近海问题并为数值波浪水槽制定提供解决方案。 ▪ Jumper：主要为分析校准和模型测试，该项目的目标是开发和推荐复杂跳线系统的涡激振动 (VIV) 评估实践。 ▪ VIV：该项目包括对VIV管道进行3000次仿真的高级分析和CFD用例。 “在使用Nimbix后，我们觉得其混合云的HPC非常不错，但从未预料到它执行数据计算的效率和速度如此之快，不仅确保我们能够超额交付当前项目，而且能够为我们的新项目提供解决思路。”—卡拉博士 Nimbix产品简介 虹科是Nimbix中国区的合作伙伴。虹科HK-Nimbix高性能计算套件是一套灵活且安全的即服务高性能计算 (HPC) 解决方案。这种面向云中的HPC、AI和Quantum的即服务模型为客户提供了访问最广泛的HPC和高性能计算产品组合的权限—从硬件到裸机即服务，再到先进计算的民主化、是跨公共和私有数据中心的云。

2011年3月11日，日本海岸附近发生了9.0级地震。这次地震引发了强大的海啸，并向内陆传播了6英里，不仅使地球的轴心偏移了大约10到25厘米，还导致福岛核电站发生核紧急情况。 为了减少这场灾害的损失，不同国家的不同组织以各种方式给日本提供帮助，包括美国的数字卫星图像提供商DigitalGlobe。 数字卫星图像提供商DigitalGlobe简介 DigitalGlobe是一家全球领先的商用高分辨率地球影像产品和服务供应商，其影像解决方案利用自有卫星群提供的数据，支持在国防情报、地图制作分析、环境监测、油气勘探、基础设施管理、互联网门户网站以及导航技术领域的广泛应用。 DigitalGlobe由科学家和卫星用户创立，它拥有并运行着最灵活、最复杂的高分辨率商业地球成像卫星星座，能为广泛的垂直行业提供高质量图像。DigitalGlobe运行着一个分析中心，该分析中心提供FirstLook的订阅服务。它以高分辨率的文件形式提供灾难发生前后的区域图像，并且可以快速交付给相关组织，以协助进行应急规划、风险评估、应急响应和恢复。通过在全球范围内寻找重大事件，FirstLook能够使DigitalGlobe的客户在需要时做出更有效地响应。 在此次日本地震中，DigitalGlobe以独特的方式提供了帮助：迅速将他们的卫星星座相机移向受影响的日本北岸，确保能够在三号反应堆爆炸前一分钟和爆炸三分钟后对福岛反应堆进行成像。这些捕捉地面极端变化前后的图像为急救人员提供了应对灾难所需的重要信息。 问题：低效的工作负载管理解决方案 将DigitalGlobe的原始卫星图像快速转换为可理解格式，同时将其交到适当的人手中可以帮助成千上万的人，这使DigitalGlobe成为了高质量地球图像和地理空间信息的独特提供者。然而，上述需求的实现需要一个高效且有效的高性能计算(HPC)平台来满足。 过去，DigitalGlobe在内部开发的HPC工作负载管理解决方案上运行。但是，该系统只能对工作负载进行非常基本或原始的调度，并且在资源分配方面效率低下，僵化的管理系统也无法从一个集群中获取资产并将它们分配到另一个集群，无法满足不断变化的需求。因此，DigitalGlobe急需一个允许他们将计算能力转移到所有可用资源上并且能在不同的平台上来回转移计算资源的系统。 在寻找更好、更高效的HPC调度解决方案的过程中，DigitalGlobe确立了两个主要需求。 首先，他们需要一个可以与Linux和Windows操作系统交互的跨平台、动态的HPC工作负载管理解决方案。 其次，他们需要能够将解决方案无缝集成到更广泛的企业通信消息系统中。 虹科Adaptive高性能计算解决方案 在查看了各种HPC供应商提供的解决方案后，DigitalGlobe认为Adaptive Computing能通过Moab HPC Suite工作负载管理产品提供最佳解决方案。 Adaptive Computing（简称 HK-Adaptive ）提供的系统允许DigitalGlobe在所有可用资源中动态转移其计算能力。此外，来自HK-Adaptive的Moab系统凭借其解决业务可用性问题的能力以及在高峰需求下提供服务的能力为DigitalGlobe提供最好的工具，使得DigitalGlobe可以在高水平支持下以最小的难度完成实施。 具体而言，HK-Adaptive提供的HPC调度解决方案为DigitalGlobe提供了以下帮助： 1.使DigitalGlobe能够将在Linux或Windows上运行的计算资源快速地转移到每个特定系统的业务负载上； 2.使DigitalGlobe能够更从容地满足不断变化的资源需求。具体而言，当需求激增时，DigitalGlobe可以更快地将高分辨率图像提供给客户，因为他们不再需要等待资产可用才能进行计算。 3.使DigitalGlobe能够将其所有计算资源视为通用容量，并近乎实时地对其进行分配，以适应客户即时的业务需求。 4.在实施过程中为DigitalGlobe提供高水平的支持，响应时间短，客户服务出色。特别是，HK-Adaptive提供24小时全天候处理任何关键问题的能力，这对于DigitalGlobe防止业务停机至关重要。 当DigitalGlobe的图像更快地交付给他们的客户时，可极大的节省自身和客户的时间和金钱。同时，正如此次福岛地震核电站事件，HK-Adaptive所提供的计算能力在几秒钟内也可以挽救一个生命。

计算、理论、实验被称为现代科学研究的“三驾马车”，无论是高校、研究所还是企业，高性能计算对于材料、化学、计算机、工程、生命科学、大气等领域以及计算机辅助工程 (CAE) 、计算流体动力学（CFD）、电子设计自动化（EDA）、分子动力学（MD）等技术的科学研究都至关重要。 北德超级计算联盟简介 北德超级计算联盟（HLRN）成立于2001年，是德国北部七个州的联合项目。HLRN超级计算机已被100多所大学和120多家研究机构所使用，以此探索科学研究的许多前沿领域，帮助开启更美好的未来。HLRN III超级计算机系统在2014年1月被研发出来，是世界上最强大的超级计算机之一，拥有约25000台高端PC的计算能力，由柏林Zuse研究所和汉诺威莱布尼茨大学对其进行托管。 HLRN面临的挑战 1.需要启用并行计算来管理和优化站点 ：为了给德国北部各州提供强大、高效的PB级计算资源，HLRN需要将HLRN III作为一个组合系统联合运行。然而，对两个远程位置进行负载平衡是有挑战的，例如时间延迟和独立集群之间不断变化的通信。因此，HLRN需要启用并行计算来管理和优化柏林和汉诺威站点之间的多个集群。 2.难以处理庞大的计算作业 ：作为由德国州和联邦政府资助的非营利组织，HLRN的超级计算系统除了免费为德国北部的科学家和研究人员提供重要服务外，HLRN还为组织的项目提供技术支持以解决关键用户问题，例如优化、批量处理作业、资源分配等，这导致HLRN III的需求量很大。为了处理如此庞大的计算作业队列，柏林和汉诺威站点必须保持24h全天候运行，这给资源正常运行时间和作业吞吐量带来了非常大的挑战。 3.工作负载要求多 ：HLRN每分每秒都运行着150多个项目，平均作业大小为10GB，这些项目对工作负载具有不同的要求，因此需要研究人员创建自定义应用程序。 4.项目准备时间长 ：一个项目成功完成后，必须创建新的数据集为下一个传⼊项目做准备，HLRN的顾问帮助系统可能需要几天甚至几周的时间去准备算法以运行密集计算。 HLRN选择虹科Adaptive高性能计算套件Moab HLRN于2008年开始使用Moab来管理其计算工作负载，目前在其分布式Cray XC30的超级计算系统“HLRN III”上运行Moab HPC Suite企业版。HLRN站点利用Moab来支持其在广泛领域的先进科学研究，包括生物信息学、化学、气候和海洋建模、工程、环境研究、流体动力学和物理学等领域。其次，还利用Adaptive Big Workflow（即更高效的处理密集模拟和大数据分析）来加速数据洞察和解决HLRN的大数据挑战，使得研究人员能够在复杂的异构HPC集群环境中提供有价值的见解，而Moab HPC Suite是Adaptive Big Workflow解决方案中不可或缺的一部分。 Moab HPC Suite（Moab高性能计算套件）是虹科Adaptive Computing的一个工作负载和资源编排平台，可自动调度、管理、监控和报告大规模的HPC 工作负载。获得专利的Moab智能引擎使用多维策略和先进的未来建模以优化各种资源上的工作负载启动和运行时间。这些策略平衡了高利用率和吞吐量目标与相互竞争的工作负载优先级和SLA要求，从而通过优先级顺序在更短的时间内完成更多的工作。Moab HPC Suite 优化HPC系统的价值和可用性，同时降低了管理成本和复杂性。 高性能计算解决方案 1.选择Moab HPC Suite ：为了充分满足其研究目标并实现并行计算，HLRN选择了Moab HPC Suite作为其新的分布式超级计算系统。HPC套件由Adaptive Computing的智能工作负载管理软件Moab提供⽀持，该软件可根据策略优化跨工作负载并调度、管理资源。 2.通过BigWorkflow进行模拟和数据分析 ：为了将两个集群的计算资源结合起来，HLRN通过Big Workflow进行模拟和数据分析。Big Workflow还能够协调和优化分析流程，以提高吞吐量和生产力，降低成本、复杂性和错误。即使面临大数据挑战，HLRN仍然可以保证最大限度地延长正常运行时间、保证服务交付且资源得到公平分配。 3.使用Moab模块 ：在Moab HPC Suite企业版中，HLRN使用了许多Moab模块。 网格管理-统一工作负载决策 Moab模块中强大的网格工作负载管理解决方案使HLRN能够连接柏林和汉诺威不同集群并共享计算资源，这允许HLRN跨策略和资源同步管理、合并报告、优化跨集群的工作负载共享和数据管理。此外，网格环境使HLRN能够同时在两个站点上运行计算作业，自动化和统一所有复杂的工作负载决策，从而实现更大的负载平衡。 策略引擎-加速生产力 随着条件和工作负载的变化，Moab能主动满足HLRN的优先事项，优化HLRN集群利用率。例如：如果一组研究人员在某个时间没有工作要运行时，Moab将允许运行其他具有低优先级的作业（进行回填调度）。此外，策略引擎也将自动确保正确的工作负载在最佳时间的运行（例如，回填作业获得低优先级或在预期运行新的高优先级作业时暂停）。 计费管理-预算保证 HLRN将MAM（Moab Accounting Manager）与其会计软件集成，从而根据资源共享协议安排资源。此功能用于管理不同研究组的账户，确保每个研究组都能基于预算、时间和MAM中可用的其他参数来“公平、共享”使用集群的。此外，MAM可以使HLRN的预算分配与利用率保持一致，确保不超过使用限制和执行预算。 价值成果 HLRN在使用Moab HPC Suite后获得了如下成果： 1.实现并行计算 ：通过协调的动态配置和多集群网格环境，Moab HPC Suite使HLRN能够利用其分布式超级计算系统实现并行计算。 2.统一任务管理 ：通过Big Workflow将两个集群作为一个生态系统运行，HLRN能够统一管理从工作流调度到账户管理的所有任务。 3.满足工作负载需求 ：通过Moab的调度能力，HLRN不仅可以更好地处理激增的工作负载需求，在多个异构系统之间实现更高的管理效率，还能够满足大量的需求并提高作业吞吐量。 4.最大化多集群ROI ：Moab使HLRN实现高达80%的资源利用率、最大限度地提高用户生产力并满足大量工作负载需求并基本消除工作延误和故障。 Moab的这些优势加快了HLRN研究人员的分析速度，帮助科学研究快速”打开新世界的大门“！ 想要了解 【虹科Adaptive computing Moab高性能计算套件】 及【 行业解决方案】 ，欢迎关注虹科云科技公众号或者评论交流！