作者: Codasip 随着越来越多的研究伙伴加入以及新技术和新产品的不断披露,欧盟于 2022 年底启动 的 NimbleAI 这一前沿项目 在喧嚣的 GPT 热潮中,开始展现出一条新的智能化和数字化转型之道。 NimbleAI 旨在 推动 神经形态视觉 ( neuromorphic vision ) 传感 和处理 技术 的发展和研究 。 作为一种创新的视觉感知和处理技术,神经形态视觉参考了生物系统工作方式,通过检测动态场景中的变化来决定是否更细致地查看捕捉到的内容,而不是花费大量资源区连续分析整个场景,从而节省大量资源和大幅度缩短延迟。 尽管 NimbleAI 是一个启动不久的新项目, 它 已经在带动许多新的计算和控制技术的研究和开发。例如,全球领先的定制处理器 IP 和开发工具提供商 Codasip 也一直关注和参与该领域的进展;作为 Codasip 的创新孵化器,该公司旗下的 Codasip Labs 不断探索将未来新技术快速推进到应用,因而于近期加入 NimbleAI 项目,为其开发一个 RISC-V 可定制内核,赋能神经形态传感 3D 集成芯片。 欧盟的 NimbleAI 项目是 一个为期 3 年、耗资 1000 万欧元的研究项目,汇集了来自欧盟和英国的商业组织和学术界的合作伙伴共同参与研发。该项目由欧盟资助,旨在设计一 种 神经形态 视觉 传感和处理的 3D 集成芯片。 在动辄需要上万张高性能 GPU 卡和巨量存储的 GPT 人工智能时代, 这一灵感来自于眼睛对光线的探测和大脑对视觉信息处理 的新机器视觉和智能技术,以其对资源和算力的节省再加更低的延迟而广受关注,因而 NimbleAI 项目也吸引了众多的目光 。 欧盟 NimbleAI 项目的部分成员(图片来源: NimbleAI ) 显而易见,这是一个受生物学启发的前沿技术,目标是提高下一代基于事件的视觉传感的神经形态芯片的能源效率和性能。如果一切按计划进行,那么会创建一种完整的神经形态架构,赋能终端设备有效准确地运行和多样化的计算机视觉算法。目前这些应用设备通常在资源和面积上受到限制,典型的应用领域包括手持和电池供电的医疗成像设备、自动驾驶车辆 智能显示器、可穿戴的 眼球追踪眼镜等等。 将生物系统作为电子系统的 “ 黄金基准”是近年来的一个技术趋势。受到生物学的启发, NimbleAI 正在利用生物眼脑系统作为其系统架构。该项目正在实施一个始终在线的传感模式,高度专业化的事件驱动处理内核和神经网络,以使用最少的能量对选定的刺激进行视觉推理。通过基于事件来决定应该发送和分析什么信息,计算系统就可以选择捕捉和分析有意义的特征信息,而不需要捕捉和分析所有信息。这种基于事件的方法可以大幅度降低资源需求,节省大量能耗,并减少延迟。 作为定制处理器专家, Codasip 在该项目中积极探索 RISC-V ISA 在内存加速器中的扩展,这些加速器由合作伙伴 CEA 提供。 定制的 RISC-V 处理 有助于提高神经形态芯片的性能并降低其功耗。为了实现这一目标, 项目 选用了 Codasip Studio 工具和 CodAL 架构描述语言,这些工具促使定制工作流程变得直接便捷 。之 后由 Codasip 开发的 RISC-V 内核 会被 映射到 Menta SAS 的 嵌入式 FPGA ( eFPGA ) 模块 上。 改变游戏规则的 定制处理器 技术 目前在 NimbleAI 项目 中, Codasip 团队正在开发基于 RISC-V 的下一代人工智能处理器。同时这也是 Codasip Labs 的系列项目中的一个完美案例。 Codasip Labs 专注于关键应用领域,包括安全、功能安全和 人工智能 / 机器学习( AI/ML ) 等等。以 发现和打造创新 技术 来 扩展定制计算的无限可能性为宗旨。 在 NimbleAI 项目之前, Codasip 的可定制 RISC-V 处理器 IP 和 Codasip Studio 定制开发工具已经得到了实际应用的广泛验证并获得了多项业界大奖的褒嘉,搭载其 IP 的处理器的出货量已超过 20 亿颗。 NimbleAI 项目正在证明一个新的趋势: 通过定制的、领域专用 的处理器 设计, 可以 加快 直接针对智能化应用的定制化 / 差异化 处理器 产品的上市时间, 并能够以高性能和低功耗等特性来 最终赢得市场青睐。在为期 3 年的 NimbleAI 项目结束时,与目前 基于帧的 CPU 或 GPU 处理视频标准相比,我们期望看到重大的性能提升。该项目将实现新的功能和实际实现,以解锁更先进的人工智能和计算机视觉算法和应用。 注: NimbleAI 从欧盟的欧洲地平线研究和创新行动计划( RIA )中获得了 101070679 号拨款协议的资助,并从英国研究和创新的欧洲地平线担保计划中获得了资助。该资金项目为英国脱欧后的实体公司加入欧洲地平线项目提供了欧盟签约保障。 关于 Codasip Codasip 作为领先的处理器技术解决方案供应商,支持系统级芯片( SoC )开发人员设计出差异化的产品,从而获得竞争优势。客户可使用 Codasip Studio 设计自动化工具,开放的架构许可以及可定制的 RISC-V 处理器 IP 系列,通过定制计算,充分解锁 RISC-V 的无限潜力。 Codasip 总部位于欧洲,同时服务于全球市场,目前已实现在数十亿颗芯片中布局。