ChatGPT及大模型技术大会上，昆仑芯科技研发总监王志鹏表示：“作为一家芯片公司，需要对市场的需求和变化非常敏感，才能使硬件产品始终精准匹配主流需求。”
大模型对计算的要求主要体现在三个方面，一是算力，二是互联，三是成本。就大模型而言，昆仑芯科技在产品定义上已经做出布局——相较第一代产品，昆仑芯2代AI芯片可大幅优化算力、互联和高性能，而在研的下一代产品则将提供更佳的性能体验。
昆仑芯科技成立于2021年，前身为百度智能芯片及架构部。在实际业务场景中深耕AI加速领域已逾10年，专注打造拥有强大通用性、易用性和高性能的通用人工智能芯片。
在持续推进核心技术攻关的同时，昆仑芯科技紧密关注科技前沿，精准匹配市场需求。目前，公司已实现两代通用AI芯片的量产及落地应用，在互联网、智慧金融、智慧交通等领域已规模部署数万片。“来自真实场景”一直是昆仑芯科技最独特的身份标签，也是其规模部署数万片、在行业内“领跑落地”的核心优势所在。
王志鹏认为，只有基于真实业务场景中的数据进行端到端优化，才能顺利推进大模型落地。
目前市场上主流的大模型以Transformer架构为主，包含Encoder和Decoder。Encoder主要被应用于各类NLP的判别类任务；而Decoder更多被应用于翻译、图文生成等场景，最近出圈的ChatGPT就是典型代表。
针对大模型，昆仑芯持续打磨部署优化方案，领跑产业落地。昆仑芯已将大模型的Transformer相关优化技术沉淀为重要基建，优化后的性能比原有方案提升5倍以上，压缩显存30%以上。AI绘画模型的推理算力及显存需求随图像分辨率增大而指数级增加，同时，图像生成需要循环采样数十次，产业落地动辄需要高昂成本的部署集群，严重阻碍了AIGC模型大规模商业化落地。
2022年第四季度，昆仑芯联合客户，基于飞桨PaddlePaddle发起了端到端联合优化项目。在2-3周内，项目组快速完成端到端优化，最终实现输入文本后2秒出图的优化效果，性能提升近8倍。
目前，昆仑芯AI加速卡R200已在该客户的大模型场景完成规模部署，性能数据全面超越同系列主流推理卡：
基于昆仑芯AI加速卡R200高效运算与推理能力，综合优化方案，在dpm-25steps算法下，利用昆仑芯AI加速卡R200，生成1024*1024图像时的推理速度为10.89 iters/s，相比同能力的主流推理卡快20%。
相关推荐阅读
-
ameya360皇华 2023-06-05 10:21
- AMEYA360报道：RF无源器件巴伦和耦合器介绍
- 巴伦，平衡－不平衡变换器，是一种可以使平衡传送线路和不平衡传送线路之间相互变换的器件，在手机、数据传输网络等现代通信系统中有着不少应用。 巴伦的种类丰富且多样，应用在实际电路中都是基于其能提供两...
-
- AMEYA360报道：瑞萨电子推出超35款全新MCU产品
- 全球半导体解决方案供应商瑞萨电子（TSE：6723）今日宣布面向电机控制应用领域发布三个全新MCU产品群，其中超过35种来自于RX和RA家族的新产品。这些新款MCU扩充了瑞萨包括多种MCU与MPU...
-
- AMEYA360报道：人工智能在5G和6G网络中的应用
- 随着5G技术的成熟，AI和ML已经被3GPP（第三代合作伙伴计划）引入研究，3GPP是制定蜂窝技术标准的国际化标准组织。目前正在考虑运用人工智能对空中接口进行改进，包括网络节能、负载均衡和移动性优...
-
- AMEYA360报道：功率器件静态参数测试如何破局？
- 目前，功率半导体器件市场呈现出集成化和模块化、高性能和高可靠性、多电平技术、新型器件结构和工艺、智能化和可重构等发展趋势和发展方向。功率半导体器件作为应用于严苛环境下的高功率密度器件，对器件可靠性...
-
- AMEYA360报道：电动汽车电池组连接的重要性
- 热管理是所有汽车高压连接器产品在开发时都需要重点考量的关键环节，如今的电动汽车可以处理的峰值负荷越来越高，更大的能量传输带来了更高的热量。这些热量使得连接组件慢慢老化，并慢慢降低连接组件的电气特性...
-
- AMEYA360报道：碳化硅模块的主要难点
- 碳化硅模块主要难点可以分为两大方面，一是引线键合、二是散热。 引线键合是在一种在封装中将多个器件之间进行互连的方式，一般使用细金属线，利用热、压力、超声波等使金属引线与基板焊盘紧密焊合，但在模块...
EE直播间
更多
-
Fabless100系列技术和应用直播 – 蓝牙音频/网络技术的最新应用和市场趋势 直播时间： 06月16日 10:00 -
Fabless100系列技术和应用直播 – GPU助力数据中心高性能计算和AI大模型的开发 直播时间： 06月27日 10:00 -
创芯未来：是德科技前沿技术交流会 – 深圳高校专场 直播时间： 06月28日 13:30 -
Fabless100系列技术和应用直播 – 工业MCU的设计、测试及应用市场分析 直播时间： 07月14日 10:00
1
2
3
4
5
6
7
8
9
0
关闭
热点推荐
/4 
/4
文章评论（0条评论）
登录后参与讨论