标签: 大模型

导语： 当AI大模型从云端下沉至终端设备，一场关于效率、隐私与智能化的革命悄然展开。作为全球领先的无线通信模组及解决方案提供商，美格智能凭借其高算力AI模组矩阵与端侧大模型部署经验，结合最新发布的AIMO智能体产品，正加速开发DeepSeek-R1模型在端侧落地应用及端云结合整体方案，助力国产优质模型渗透千行百业，共塑智能化未来。 AIMO智能体硬件 加速迭代，AI硬件与大模型协同优化 美格智能基于高通骁龙高性能计算平台打造的AIMO智能体产品，集成48Tops AI算力，支持混合精度计算（INT4/FP8）与异构计算架构（8核CPU+Adreno GPU+Hexagon NPU），可高效承载7B参数级大模型的端侧推理需求。其板载16GB LPDDR5X内存与256GB UFS 4.0存储，为模型动态加载与实时数据处理提供硬件保障。 2025年美格智能将推出单颗模组算力达到100Tops的高阶AI硬件，远期规划AI模组算力超过200Tops。 美格智能已成功在高算力AI模组上部署LLaMA-2、通义千问Qwen、ChatGLM2等大模型，验证了从模型压缩（量化、剪枝）到框架适配（ONNX/TFLite）的全流程能力。美格智能自研的MEIG AI算法部署平台、AIMO智能体、模型优化器等，可大幅缩短模型落地周期，支持开发者通过Python快速完成应用开发，并支持开发者进行模型训练。 AIMO智能体内置的高算力AI模组的异构计算架构，具备协同加速能力，支持模型并行计算与低功耗运行，LPDDR5X内存提供超过60GB/s带宽，满足7B模型推理时的高吞吐需求。内置专用AI加速引擎支持INT4/FP16混合精度计算，与DeepSeek-R1模型的量化格式（INT4/FP8）高度适配。 DeepSeek-R1低调亮相，蒸馏小模型超越OpenAI o1-mini DeepSeek-R1采用强化学习逻辑，驱动通过多阶段RL训练（基础模型→RL→微调迭代），DeepSeek-R1在数学、代码、逻辑推理任务中表现比肩国际顶尖模型，如AIME数学竞赛准确率达71%。DeepSeek-R1提供轻量化适配：DeepSeek-R1系列提供1.5B至70B参数蒸馏版本，其中7B模型经INT4量化后仅需2-4GB存储，完美适配终端设备内存限制。DeepSeek-R1的动态思维链，支持数万字级内部推理过程，解决复杂问题时能自主拆解步骤并验证逻辑，输出可解释性更强的结果。 DeepSeek在开源DeepSeek-R1-Zero和DeepSeek-R1两个660B模型的同时，通过DeepSeek-R1的输出，蒸馏了6个小模型开源给社区，其中32B和70B模型在多项能力上实现了对标OpenAI o1-mini的效果。除32B和70B模型能力强悍外， DeepSeek-R1同步开源1.5B、7B、8B、14B等多个蒸馏小模型，极大扩展了终端侧模型部署的可选性，并支持用户进行“模型蒸馏”，明确允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。 以DeepSeek-R1 7B模型的端侧适配性举例，该模型具备轻量化设计特征，经蒸馏和量化后模型体积压缩至2-4GB，很好的匹配移动端存储限制。模型具备低延迟推理能力，在高算力模组平台上，可实现10-20 tokens/s的生成速度。模型支持分块推理和稀疏计算，结合美格智能高算力AI模组的能效优化，能实现极低的功耗控制。 算力与模型的技术迭代，AI应用的iPhone时刻即将带来 美格智能研发团队结合AIMO智能体、高算力AI模组的异构计算能力，结合多款模型量化、部署、功耗优化Know-how，正在加速开发DeepSeek-R1模型在端侧落地应用及端云结合整体方案。 ▶超低功耗 首先持续对DeepSeek-R1模型的推理延迟进行优化，保证模型在高算力模组软硬件环境下的超低功耗运行。 ▶开发工具链 不断进行工具链打通，模组内嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式，大模型适配周期将大幅缩短。 ▶端云协同 结合动态卸载技术，根据任务复杂度自动分配端侧与边缘计算资源，保障实时性与能效平衡。为客户提供端云协同模板，面向开发者提供动态任务分配框架，简单配置即可实现“本地优先，云端兜底”。 通过高阶AI硬件与DeepSeek-R1模型的能力结合，将突破端侧AI的能力边界。7B模型支持长文本理解、代码生成等传统端侧小模型无法完成的任务。多模态融合能力，高算力AI模组的ISP+AI能力结合DeepSeek-R1模型，可实现端侧图文问答、视频内容解析（如实时字幕生成）。个性化持续学习，通过AI模组的边缘计算能力，支持联邦学习框架下的本地模型微调（如用户习惯适配）。 在算力+模型的不断迭代背后，端侧AI及端云协同的商业模式和商业竞争力都将面临重构，DeepSeek-R1的发布，更是会极大刺激AI下游应用，如工业智能化、汽车Agent、机器人、个人大模型等应用场景的指数级增长，AI应用即将迎来属于自己的iPhone时刻。 ▶基于DeepSeek-R1的AI Agent开发应用 结合美格智能自研的AIMO智能体及DeepSeek-R1模型的基础能力，开发面向工业智能化、座舱智能体、智能无人机、机器人等领域的AI Agent应用。 ▶端侧AI能力包 推出面向AI场景的订阅服务，针对中小型的B端或C端客户，推出“端侧AI能力包”，与大模型厂商合作，针对Token输入/输出数量、不同类型模型调用、流量费用等领域，推出一体化端侧AI Turn-key方案。 ▶智能化硬件增值 商业模式方面，各类高AI配置硬件叠加端侧模型加载或云端模型接入，为高算力硬件带来更多智能化增值。 ▶自建GPU服务器与个性化专属大模型开发 美格研发团队持续拓展通用模型的部署通路，并不断向客户开放相关教程和源代码，并且以最新的高算力计算平台搭建GPU服务器，可用于端侧模型训练和支持客户开发专属大模型， 结合DeepSeek-R1及其宽松、开放式的MIT授权协议，千行百业的个性化模型开发和应用即将爆发。 2025年，端侧AI、端云协同等各类AI应用的iPhone时刻将加速到来。DeepSeek-R1的出现，某种程度上改变了我们对于Scale的认知，但也不会带来云端算力的需求减少甚至崩塌，相反优质模型对于AI应用场景的极大刺激，也会推动云端算力需求的提升，端侧不断进化，云端负责兜底，端云结合终将是不变的方向。 美格智能也将持续以高算力AI模组、AI Agent应用、大模型部署服务、端侧AI服务整体解决方案为基石，携手大模型厂商、生态伙伴等不断推动类似DeepSeek-R1等优秀模型的应用拓展，让普惠、自主的高阶AI实现应有的社会价值。

新年伊始，讯飞旋即召开最新的模型发布会，距离上次重大更新仅过去不到一个季度，这次发布会上，讯飞带来三个大招： 1）推出深度推理模型讯飞星火 X1 ，作为 全国产算力平台上唯一的深度推理大模型 ，该模型中文数学能力国内第一，并率先应用于教育、医疗等刚需场景； 2）升级星火4.0Turbo 底座能力升级，进一步拓展多模态的边界； 3）发布同传大模型，最快语音同传时延小于5秒。 讯飞速度，让我们看到全国产化AI大模型的能力擢升的希望之路。当下脱钩断链的时空背景下，自主可控有了更深刻的现实意义，中国AI产业也有了真正意义的压舱石，未来不管形势如何变化，我们都已有从容自主应对的底气：中国大模型技术未来发展安全可控，商业化落地路径也愈发清晰可见。 01从“星火发布会窗口”看全栈国产AI的成色 大部分人都非常关心基于全国产的芯片、算子、算法的大模型之路，究竟是否能够走得通。一直以来，讯飞星火坚持走全国产化路线，因此其发布会也成为业内人士观察全栈国产AI进展的关键窗口。 在此之前，2023 年 10 月首个国产万卡算力集群“飞星一号”平台上线，后升级为国产超大规模智算平台“飞星二号”，2024年1月，讯飞通过国产算力平台训练出的千亿参数模型讯飞星火V3.5正式发布，性能指标处于国内领先水平，初步验证了这条路能行得通。 而这次发布会，是观察这条路能否走得好的关键切面。 【1】迭代速度保持领先 从23年首发至最新的发布会，我们观察到星火模型的迭代速度非常快，完全不用担心国产底座成为技术发展的掣肘。从近2年来关键的时间节点来看： 2023年5月6日，在AI全球爆火后不到2个月，讯飞星火大模型正式发布，且具备文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力等七大核心能力。 2023年10月24日，为实现完全的国产化，讯飞与华为携手自研算力底座，并于联合发布了国内首个全国产算力平台“飞星一号”，常态化支持万亿参数的大模型训练。 2024年1月30日，首个基于全国产算例训练的讯飞星火V3.5发布，同时发布的还有星火语音大模型，首批支持37个主流语种。 2024年6月27日，科大讯飞发布讯飞星火V4.0，七大核心能力全面升级，在8个国际主流测试集中排名第一。 2024年10月24日，基于“飞星一号”平台，星火大模型已升级为4.0 Turbo版本，根据真实数据的测试，其七项核心能力在中文领域全面超过GPT-4 Turbo，数学和代码能力超越GPT-4o。 2025年1月15日，科大讯飞持续深入大模型国产化“无人区”，正式发布星火深度推理模型X1，同时首发星火语音同传大模型；此外，讯飞星火4.0Turbo底座能力+行业能力再次升级。 讯飞大模型的迭代速度和频率，均与全球第一梯队厂商保持一致，直接证明了基于国产算力和算法的大模型之路深度可靠。 【2】能力上比肩全球第一梯队 在过去两年的百模大战之后，AI从2025年开始进入推理时代，所以这次讯飞发布会，最引起我们关注的，自然是当前业界全国产算力平台上唯一的深度推理模型——星火深度推理模型X1。 发布会上，科大讯飞研究院依次展示了讯飞星火X1解答高考题、AIME竞赛题以及高中奥赛题的表现，X1不仅准确给出了这些题目的答案，还对解题思路和步骤进行了详细拆解。 通过解题的案例，也首次揭秘星火X1的三大特点：化繁为简，能将复杂问题分步拆解简化；进行自我探索反思验证；依据答案正确与否进行强化训练。这种能力相对通用大模型，是一种更为接近人类的“慢思考”方式。 这种方式是X1能力突出的关键。星火深度推理模型X1近期还参加了小初高（含竞赛）、大学（含竞赛）、AIME、MATH 500等多项考试，交出了一份非常亮眼的“考试成绩单”：用更少的算力，达到业界一流效果，多项指标位居国内第一。 另外值得一提的是，推理阶段相对训练而言，是更加追求成本效用的，便宜好用是商业化落地的最大前提。 水滴石穿非一日之功。这次发布会上推理模型X1的惊艳表现，离不开科大讯飞从成立之初就保持对AI的专注，以及近些年持续大手笔加大对研发的投入。 图：科大讯飞研发费用 除此之外，讯飞的底座星火4.0 Turbo能力也迎来全新升级，此前的七大核心能力得到全面提升，对标或者超越OpenAI 最新版的GPT-4o。 更引起我们重视的是，此次升级最重要的特点，是针对行业、企业的痛点问题，在数学能力、行业知识、图文识别、长文本能力等能力上实现提升。比如数学能力上，星火X1的高质量合成数据，让讯飞星火4.0 Turbo的数学能力变得更强，可以在数学教学、金融分析和科研推演等发挥更大的作用。 整体来说，星火4.0 Turbo成为更懂行业的通用大模型，为赋能千行百业提供有力支持。 在地缘冲突不断加剧的当下，掌握科技革命的底层资产是应对未知的重中之重。 AI大模型的底层资产，就是算力和算法。 讯飞星火，成为了奇点爆发后，现阶段唯一掌握底层资产的大模型。 由于采用全国产算力，科大讯飞逐渐成长为中国人工智能“国家队”。 “全栈中国算力”的意义并不仅仅仅是为应对偶发性的地缘冲突，更是证明技术不会被卡脖子，安全可控，开发者可以继续沿着这条路奋力耕耘。另外发布会的一条暗线是，星火大模型正在朝着应用落地方向快速成熟，意味着应用者未来可以在国产生态中繁荣。 02 掌握自主“know how”，是国产模型的新内核 【1】成为大模型国家队的前提是know-how 我们没有发明计算机，但是我们依托摩尔定律成为全世界最大的计算机制造商，我们没有发明互联网，但是我们依托高带宽成为全球领先的移动应用市场。 但过往的荣光根植于渐行渐远的全球化时代，那时我们只要完成产业链分工的一个环节即可。当时当下，不管是脱钩断链、小院高墙，都力证全栈自主化的紧迫性和必要性。 在AI大模型的竞争中，英伟达向全球AI参与者输出了工程能力，依托CUDA和英伟达的解决方案，市面上所有的玩家只要有钱，都可以构建百卡、千卡乃至万卡的计算集群。我们可以依托英伟达做出更强的模型，更强的应用，只不过底层的Know-how和产业运行逻辑还是掌握在英伟达、OpenAI们手里。 另外，现阶段AI的发展，越来越受限于数据安全。毕竟大模型的训练依托的就是优秀的数据、语料，而对于企业而言，数据是最核心的生产要素之一。对于国家安全、产业自主来说，拥有一套属于自主可控的模型，也越发重要。 算力即国力的后半句应该是，模型安全即国家安全。 随着美国对大模型出口也开始严格限制，这层窗户纸已经被捅破。因此，现阶段我国真正需要的是，掌握AI大模型最底层的Know-how，掌握AI从基础算力层到应用层全部的运行逻辑，包含每一颗芯片、每一行代码、每一个数据。 【2】如此，才能成为产业放心的基座 对国计民生的重要行业、尤其是中国国企阵营而言，我们需要一支具备中国科技发展结晶的国家队来为企业AI转型护航。 在大模型之前，科大讯飞就承担了国家发改委、工信部、科技部和中科院的多项国家战略任务。而近两年来，全栈国产化的“讯飞星火”大模型，速度和能力都持续领跑业界，因此自然成为央国企转型AI时的首选。 2024年10月14日，中国海油携手科大讯飞、中国电信打造的“海能”人工智能模型正式发布，为解决央企在垂直领域核心痛点问题，共推出具有海油特色的5个专业场景模型和6个通用场景模型. 专业场景模型针对海上油田稳产增产、安全钻井、海工制造、设备维护、LNG（液化天然气）贸易、油气销售等场景，构建数据驱动、业务协同的新模式，进一步提升产业数智化水平。通用场景模型针对招标采办、员工健康、辅助办公等需求推出智能应用，助力业务管理和办公效率提升。 其实不仅仅是中海油，中国移动、交通银行等等行业标杆性的央国企都选择与科大讯飞合作共建大模型。 截至目前，讯飞已经与央国企及20多个行业的头部企业一起发布行业大模型，覆盖300多个应用场景。 在积累百余个行业应用经验之后，讯飞星火4.0Turbo的行业能力也将再次升级，懂得了更多的行业know-how，成为“最懂行业”的大模型。 第三方数据显示：在2024年大模型的招投标中，科大讯飞的中标数量（91个中标项目）和中标金额（8.5亿元）均位居第一，成为2024年度大模型中标项目的“标王”，涵盖了通信、金融、能源、教科、政务、医疗等多个行业，且主要以央国企客户为主。 03 星火X1带动中国率先进入深度推理时代 过去，科大讯飞一直坚持“技术顶天，应用立地”的发展战略，引领大模型规模化应用落地，以期早日达成AI生态的闭环。早在公司2023年的年报中，公司就用一张“业务全景示意图”，描绘了讯飞对于其AI生态的愿景规划：基于全栈自主化的核心AI技术，赋能C端、B端、G端，最终实现共赢。 图：业务全景示意图 来源：公司2023年年报 从时间维度上应用落地的紧迫性正在与日俱增。2025年随着AI正式进入推理纪年，全行业都需要回答该如何收回天量的投资，答案是唯有应用。而星火X1的重磅推出，正在将讯飞在一年前擘画的愿景，描绘成清晰的应用落地商业化路线。 比如在讯飞传统优势的教育、医疗行业，星火X1起到了点睛的作用。 去年，讯飞就联合中国教育科学研究院，发布了基于“问题链”的高中数学智能教师助手，同时也正面向全国百个试点区域、联合千名优秀教研员和老师打造上万个优秀案例。目前，星火X1已经部署上述试点区域，X1在一题多解、教学知识关联、拓展学生高阶思维等方面表现出色，得到一线老师的高度认可。 我们也不难推断，在讯飞的拳头产品AI学习机上，具备“慢思考能力与深度推理能力”的星火X1，马上将成为学生和家长的得力助手，AI学习机学习推荐和诊断将变得更加精准，解题思路和知识链条将更加清晰。 医疗领域，讯飞星火X1的模型策略已取得初步验证成效，专科辅助诊断和复杂病历内涵质控的准确率均达90%，发布会上，讯飞还宣布将在今年上半年正式发布基于讯飞星火X1的医疗大模型升级版，在更大范围为医生提供更专业更高水平的辅助。 不仅仅是教育和医疗，X1大幅提升了讯飞的AI引力，加速AI生态的成形： B端，X1能够加速在教育、医疗、汽车等已有场景的的商业价值闭环，此外还能提升其他垂直行业的用户体验和产品渗透率，去展望更大的想象空间； C端，学习机、文档、翻译等标准化产品更贴近使用习惯，将惠及更多的消费者。 G端和央国企侧，X1还能帮助讯飞做深做透，实现更好的降本增效。 技术迭代，产品落地，并实现了多端共振的正反馈，商业化路径自然会逐渐清晰。 04 中国AI国家队的星火征程 AI是历史级的科技革新，没有人能够躲过时代的浪潮，我们能做的只是顺势而为、踏浪前行。从2023年爆发至今AI的突飞猛进满打满算不到2年，未来精彩只会更多，当然风浪也会越大。 历史总是在风雨飘摇中前行，有幸的是，这一次我们抓住了船舵，掌握自己的命运，同时也有了竞争的底气。星火燎原的征程，我们已经和讯飞一起开拔。

科技云报道原创。 当所有人都沉浸在与ChatGPT对话的乐趣中，一场静水流深的变革已然启动。 2023年11月，比尔·盖茨发表了一篇文章，他表示，AI Agent将是大模型之后的下一个平台，不仅改变每个人与计算机互动的方式，还将在五年内彻底改变我们的生活。 如果说大模型是未来水电煤一般的基础设施，那么Agent则是未来用户接触、使用AI的方式。 AI Agent不再满足于仅仅作为“聊天对象”的角色，而是渴望成为能在真实世界里挥洒自如的“智能执行者”。 数据显示，过去两年间，针对AI Agent的研究投入增长幅度高达300%。大模型市场的玩家们，似乎正齐刷刷地转向AI Agent。 在国内，截止去年11月中旬，AI Agent赛道发生融资事件13起，总融资金额约735亿人民币，公司融资均值为56.54亿人民币。 在国外，据外媒MattSchlicht数据显示，至少有100个项目正致力于将AI代理商业化，近10万名开发人员正在构建自主Agent。 毫无疑问，AI Agent正在成为大模型之后下一个爆发点。 值得探讨的是，作为一种巨大的技术变革，AI Agent将如何改变我们的生活？国内外AI Agent的发展现状如何？AI Agent落地的关键点是什么？ AI Agent：自主执行任务的“小助手” 去年4月份，斯坦福和谷歌的研究者共同创建了一个“西部世界小镇（Westworldsimulation）”。在这个小镇里，25个AI Agent每天都在乐此不疲地散步、约会、聊天、用餐以及分享当天的新闻。 在这个实验中，AI Agent（智能体）在执行任务和互动上表现出了令人惊艳的自主性和智能性，由此引发了业界的高度关注。 事实上，这并不是AI Agent第一次出圈，其概念从出现到爆发，已经迈过多个阶段。 在单一Agent阶段，主要是针对不同领域和场景的特定任务，开发和部署专门的智能体。以GPTengineer为例，给它一个需求，其就可以把代码写个大概。 在多Agent合作阶段，是由不同角色的Agent自动合作完成复杂的任务。 例如在MetaGPT上，如果让其做一个股票分析的工具，它会把这个任务分别翻译给产品经理、架构师、项目经理等5个角色，模拟整个的软件开发中所有决策工作流。 不过，随着微软全新工具AutoGen的发布，AI Agent很快翻开了新的篇章。 AutoGen允许多个LLM智能体通过聊天来解决任务。LLM智能体可以扮演各种角色，如程序员、设计师，或者是各种角色的组合，对话过程就把任务解决了。 与MetaGPT不同的是，MetaGPT的角色模型是被定义好的，而AutoGen可以让开发者自己定义Agent，还可以让他们相互对话。 这是一个新的且富有创造性的Agent框架。在AutoGen发布的两个星期内，星标量从390狂增到10K，并在Discord上吸引了5000多名成员。 如果说AutoGPT拉开了自主智能体（Autonomous Agent）的帷幕，那么前文提到的“西部世界小镇”则开启了生成智能体（Generative Agent）之路。 生成智能体就像美剧《西部世界》中的人形机器人或《失控玩家》中的智能NPC，它们在同一环境中生活，拥有自己的记忆和目标，不仅与人类交往，还会与其他机器人互动。 总的来说，AI Agent是一个能够自主行动、执行任务的“小助手”，能够针对目标独立思考并做出行动，会根据给定任务详细拆解出每一步的计划步骤，依靠来自外界的反馈和自主思考，为自己创建prompt以实现目标。 比如，让AI Agent买一杯咖啡，它会首先拆解如何才能为你购买一杯咖啡并拟定代用某APP下单以及支付等若干步骤，然后按照这些步骤调用APP选择外卖，再调用支付程序下单支付，过程无需人类去指定每一步操作。 而目前基于LLM的ChatGPT给出的反馈，只能止于“无法购买咖啡，它只是一个文字AI助手”之类的回答。 这也就不难理解，为什么AI Agent会是大模型的下一个高地——大模型聚焦于处理语言相关的任务，它并不直接与现实世界互动，而AI Agent强调解决实际问题的能力和与环境交互的全面性。 AI Agent加速落地 事实上，大模型还没有出现之前，一些企业就已在研究传统AI与Agent的结合应用。因此，AI Agent在各领域的落地比大家预想得要快很多。 目前，海外已经在零售、房地产、旅游、客户服务、人力资源、金融、制造业等多个领域出现AI Agent架构与产品，例如： 在医疗领域，Agent可以帮助诊断、治疗和监测患者。IBM Watson Health 是一个AI智能体，可以分析医疗数据，以识别潜在的健康问题并推荐治疗方案。 在金融领域，Agent可以分析财务数据、检测欺诈行为并提出投资建议。嘉信理财（Charles Schwab）使用名为Intelligent Portfolio的人工智能智能体，根据客户的投资目标创建和管理投资组合。 在零售业务场景中，Agent可以提供个性化推荐，改善供应链管理，增强客户体验。亚马逊的Alexa是一个AI智能体，可以推荐产品、下订单和跟踪发货。 在制造业，Agent可以优化生产流程，预测维护需求，提高产品质量。通用电气使用名为Predix的AI智能体实时监控机器，以预测和防止设备故障。 在运输领域，自主AI Agent可以协助路线规划、交通管理和车辆安全。特斯拉的Autopilot有助于自动驾驶车辆，并帮助驾驶员停车、变道和安全驾驶。 不仅如此，在底层技术方面，AI Agent也打下了不错的基础。 例如，OpenAI开发的GPTs，以及推出的GPT-4Turbo和可定制AI Agent，提供了基础Agent的构建能力，如工具调用、基于知识库文件记忆能力等，使得AI Agent进入了另外一个新阶段，即人人都可以打造自己的Agent。 但总的来说，AI Agent技术还处于比较早期的阶段，主要在两个类型的场景中更容易落地： 一类是具有交互性质的场景。 例如，智能机器人和问答式交互，这与AI Agent的迭代性质天生匹配。在这种情境下，对于一些简单的任务，比如购买火车票或解决企业内部IT服务的问题，任务型机器人的应用效果较好，并且相对容易维护。 另一类是线性执行任务的场景。 例如，一家支付公司要求用户在开户时提交身份证明，在这种场景下，前台是单向的，但后台可以利用AI Agent执行，相较于原有的流水线，AI Agnet更为高效。 AI Agent落地挑战 尽量理想很美好，但当前市场上的大多数AI Agent，其实只是构建了一个基于特定知识库或专业数据的Chatbot。这些智能体主要用于进行问答交互，如获取行业资讯、报告等，在程序联动和操作方面还有很大的提升空间。 在一些更复杂的场景中，现有的AI Agent技术只能做到辅助，无法完全实现自动执行。 这背后的原因有很多，包括技术能力、商业化路径、应用场景等，都会影响Agent的能力体现。 首当其冲的，依然是技术问题。 LLM作为AI Agent的认知核心，其智能性在很大程度上决定了AI Agent感知环境、做出决策并执行适当行动的能力。但就目前而言，包括GPT-4在内的所有大模型，能力仍需提升。 同时，AI Agent继承了LLM的一些问题，比如“幻觉”、“可解释性”等问题。此外，对于底层基础模块的质量和性能，包括调用图像识别等模型，也会直接影响到上层建筑的性能。 此外，Agnet各个模块之间的交互和运行可能会产生许多中间结果和状态，这也带来了一些技术挑战。例如，处理中间结果的鲁棒性是一个问题，下层模块的性能和质量会直接影响上层模块的执行。 其次，AI Agent的落地效果也受限于应用场景。 例如，在出行预订中，得益于丰富的API等问题，AI Agent表现出色。而在如法律助手场景中，由于新知识的频繁出现和API的不完善，实际应用面临更多挑战。 这一点，从国内AI Agent纷纷生长于协同办公平台就可见一斑。 由于协同办公平台本身具备良好的API接口和插件体系，这使得将大模型集成到现有工具中变得更加容易。 同时，许多企业都在使用协同办公软件，这意味着广泛的用户基础可以加速大模型的迭代和优化过程，使其更好地满足用户需求。 最后，找到切入点以及好的商业模式至关重要。 AI Agent爆发的一段时间，人们普遍认为补齐了大模型短板的AI Agent更具备实用性，将是大模型重要落地方向。 但就目前而言，这一路径的商业化存在诸多问题。拿游戏场景而言，目前收费主要来源于出售游戏装备、皮肤等方式，而AI Agent的价值无法体现在这些固有的变现途径上。 由于AI Agent落地效果未出现颠覆性的能力，C端用户是否会为其买单无法得知，能否成为AI大模型从C端商业化爆发一个最核心应用方向，还需时间验证。 相对来说，B端可能更适合AI Agent的落地。在Agent构建平台上，企业或将可以自己构建自己RPA、CRM、办公OA等一系列管理软件；软件厂商也可以基于此平台构建软件为企业提供服务。 但这仍需要成本控制、投入预算、实现效率、安全管控等多方面严格及缜密的评估。 结语 无论存在多少质疑，时至今日，AI Agent依然带来了诸多想象力。技术发展之路本就充满质疑与批判，科技变革对于任何一个企业与个体都是一场机遇，关键在于如何把握它。 【关于科技云报道】 专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

科技云报道原创。 春节期间，OpenAI的最新技术成果——文生视频模型Sora惊艳登场，令海内外的AI从业者、投资人彻夜难眠。 Sora大模型可以让用户仅通过输入一个句子，就可以生成与好莱坞画面相媲美的视频，且长度最多可达1分钟，让人深感震撼。 对于这颗“深水炸弹”，众说纷纭。 Open AI自称Sora是“世界模拟器”。有网友惊呼“现实不存在了”。马斯克直言：人类认赌服输。美国科技博主马克斯·布朗利表示，Sora或将拉响影视行业失业警报。 毋庸置疑，Sora极具破坏性创新的潜力，必将重塑现有的产业格局如短视频、广告、游戏、影视行业等。 从二级市场的表现来看，工具类公司Adobe，在Sora公布后的次日股价暴跌超7%；美国图片工具供应商Shutterstock跌超5%；几周前发布了“文生视频”工具Lumiere的谷歌母公司股价下跌1.58%。 三家公司一天内就合计蒸发近480亿美元（约合人民币3500亿元）的市值。 随着Sora的震撼面世，失业、裁员、洗牌等词汇的热点居高不下，但也有行业迎来了“泼天的富贵”。 OpenAI创始人兼CEO Sam Altman发帖表示，OpenAI认为“世界需要更多的AI基础设施，包括晶圆制造能力、能源、数据中心等，而人们目前计划建设得不够。” 他补充说，“建设大规模的AI基础设施和一个具有韧性的供应链对经济竞争力至关重要”，而OpenAI将努力提供帮助。 对此，英伟达创始人黄仁勋回应道：看好全球AI数据中心在未来4-5年里将翻番，增长到2 万亿美元的规模。在此期间，更高效、更低成本的芯片会持续出现，大规模投资变得不那么必要。 正所谓有人欢喜有人愁，在Sora这类生成式AI技术的推动下，AI基础设施迎来了“高光时刻”。 Sora推动AI算力需求猛增 根据OpenAI发表的论文显示，Sora大模型延续了此前GPT模型“源数据-Transformer-Diffusion-涌现”的技术路径。 这意味着其发展成熟同样需要海量数据+大规模参数+大算力作为基座，且由于视频训练所需数据量远大于文本训练的数据量，预计Sora大模型将进一步拉大算力缺口。 根据DiT模型创立者谢赛宁博士粗略测算，Sora模型的参数规模大约为30亿。 根据对可训练数据量的研究成果，海外大型视频网站每分钟大约上传500小时视频内容。由此测算训练Sora模型需要约7.09万张H100一个月的训练量。 在推理侧，根据相关研究测算生成一张图的算力消耗约为256个词的消耗。由此推算生成一个1分钟时长短视频的算力消耗，约是生成一次文字对话的千倍以上。 正如ChatGPT带来的AI算力需求增长，Sora的横空出世，进一步加剧了AI算力的紧缺。 而这种紧缺，造就了生成式AI底层基础设施——算力芯片的“绝对霸主”英伟达，堪称近一年多来最耀眼的上市公司。 2023年，英伟达累计暴涨239%。2024年，涨势仍在持续，2月16日美股收盘，英伟达报726.13美元，今年累计上涨近50%，市值为1.79万亿美元，超越谷歌和亚马逊，位列全球第三。 “从公司强劲的增长中可知，各行各业都在经历从通用计算到加速计算和生成式AI的平台转型。”英伟达创始人黄仁勋表示。 事实上，不仅是英伟达，其最大的两个竞争对手英特尔和AMD也在AI芯片领域加速追赶。 更为重要的是，英伟达的大客户们——科技巨头之间的一场新竞赛正在升温，他们正在构建自己的AI芯片，以摆脱对英伟达芯片的依赖。 2023年11月，微软正式推出了其自研的两款人工智能芯片：Maia 100和Cobalt 100。 今年2月，全球最大的社交媒体公司Meta对外证实，计划今年在其数据中心部署最新的自研定制芯片，并将与其他GPU芯片协调工作，助力其AI大模型发展。 而在此之前，有数据显示，2023年，Meta和微软两家公司以15万块英伟达H100 GPU的购买量并列第一。 Meta首席执行官马克·扎克伯格表示，该公司计划在今年底前拥有大约35万颗英伟达H100处理器。再加上其他供应商，Meta将累计拥有60万颗H100的等效计算能力。 但即便如此，AI算力依然不够。 风头正劲的OpenAI也在探索制造自己的AI芯片。 有消息称，在Sora发布前夕，OpenAI创始人兼CEO Sam Altman正在从中东地区筹集总计高达7万亿美元的资金，以支持公司的一项半导体计划，并与英伟达展开竞争，计划重塑全球半导体行业格局。 7万亿美元是什么概念？占全球GDP的10%，相当于2.5个微软、3.75个谷歌、4个英伟达、7个Meta或者11.5个特斯拉，也就是全球半导体的全部江山。 这笔钱能将AMD、台积电、英伟达、三星、英特尔、高通等公司通通打包带走。 Sora发布后，软银集团创始人孙正义也正在寻求高达1000亿美元资金，打造一家能与英伟达竞争的芯片公司，专注于生产对AI至关重要的半导体。 如果孙正义的计划得以实现，这将成为继ChatGPT问世以来，AI领域最大的一笔投资。 正如ChatGPT引爆国内文本生成式大模型热潮一样，此次Sora大模型展示出相较以往同类产品更强的生成式能力，进一步打开了AI应用想象空间，预计国内大模型厂商也将快速跟进，加大对文成视频大模型的投入力度，进而推动AI算力需求持续高涨。 算力产业迎来“泼天富贵” 从全球视角来看，在Sora的催化下，算力产业链从上游硬件、中游服务器/交换机、下游应用侧闭环现愈发清晰，从云侧到端侧、从硬件到软件都将呈现生机勃勃之景。 首先 ，ChatGPT、Sora等AI大模型的广泛应用，将催生高性能计算(HPC)和边缘计算的需求增长，与之相关的GPU、FPGA、ASIC等芯片将迎来巨大需求。 同时，AI大模型的应用需要强大的计算资源来支持，这也会推动数据中心的建设和升级。 其次 ，Sora等AI大模型将持续推动IT基础设施技术创新。 例如，AI大模型对算力和能效有着高需求、高要求，这将推动半导体公司不断研发更先进的芯片架构和制造工艺，也将推动云和IT服务商不断探索更高效的计算资源调度能力，以提高对算力的利用率，降低AI大模型的训练成本。 对于数据中心服务商而言，多模态模型的爆发，对数据中心网络提出了更大的要求。 视频数据的生成、调用等，对集群通信延迟要求更高、带宽需求暴增，而带宽的提升也意味着网络建设成本的提高，需要进一步通过技术降本增效。 同时，面对更多的智能算力需求，数据中心高密度趋势明显，也需要通过新技术降低IT设备空间占有率。 更具想象力的是，运用Sora大模型的生成能力，还可以推动产业的技术创新。比如，生成模拟的半导体电路图像，以便在设计阶段进行分析和优化，从而对半导体行业的设计和制造过程产生影响。 可以预见，随着Sora等AI大模型的普及，AI步入千家万户，那些能够提供高性能、高性价比AI算力的公司将获得更大的市场份额，以“技术”为先的核心竞争力变得愈发重要。 结语 整体来看，大模型产品从文字、图片上升到视频，AI训练量的不断提升，对算力的需求也呈现指数级增长态势，AI芯片、AI服务器、数据中心等相关行业的需求将一路狂飙，“卖铲子”的公司依旧是第一受益人。 但想要接住这“泼天的富贵”，技术仍是第一生产力，各家基础设施厂商势必要在软硬件方面进行全方位升级。 【关于科技云报道】 专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

科技云报道原创。 国内大模型战场的比拼正在进入新的阶段。 随着产业界对模型落地的态度逐渐回归理性，企业客户的认知从原来的“觉得大模型什么都能做”的阶段，已经收敛到“大模型能够给自身业务带来什么价值上了”。 2023 年下半年，不少企业将目光锁定在行业模型上。如何降低大模型使用门槛，让大模型真正在行业里用起来，是业内普遍关注的焦点。 由此，国内厂商在大模型上的认知也在逐步统一——百度创始人李彦宏认为“卷大模型没有意义，卷应用机会更大”；腾讯高管汤道生表示“大模型只是开端，行业应用才是未来”；华为云CEO张平安明确大模型“为行业而生，聚焦B端行业客户”，更直言盘古大模型“没时间作诗、没时间聊天”。 这也意味着，更多大模型厂商将开始卷应用，这会是今年竞争最为激烈的板块之一。 大模型行业落地渴望 “开箱即用” 过去半年，大模型To B的落地应用摸索已经度过尝鲜期。 对于企业而言，他们希望更快使用上大模型，在市场竞争中获得优势。但大模型的技术门槛很高，因此企业并不会从头开始训练自己的基础大模型，更多是基于某个成熟的大模型做二次开发。 然而，想借用好现有的通用大模型，企业仍面临着三大难题： 首先，各类企业的场景需求、复杂程度、智能化程度千差万别，大模型能力边界与企业的场景需求如何快速、准确匹配； 其次，从模型到应用中间还需要诸多技术桥梁，诸如SFT、RAG、LangChain、Agent等技术，如何与大模型有机组合达成最优解； 第三，企业过去积累了大量IT设施、软件、企业数据、业务流程，如何让大模型与现有设施结合的情况下，保障企业数据信息安全。 换句话说，企业无论是基于开源或闭源的通用大模型来做行业化落地，都远没有到达开箱即用的程度。 不过这也成为大模型厂商在竞争中突围的方向，除了要在底层技术上继续夯实外，补足行业Know-how和成功经验也是重中之重。 在百度和阿里的发展经验中，似乎可以给大模型行业一些启示。 其中，百度用搭建行业模型、垂直场景模型和应用的方式赋能具体行业。 2023年3月，百度智能云推出千帆大模型平台，从算力、模型、到应用层层结合，为企业提供一整套大模型开发工具。 一年后，基于一线经验积累和实战反馈，百度智能云抽取出“研、产、供、销、服”环节中的典型场景，于近日推出了5款全新模型和7款应用产品，来解决企业用好大模型的“三大难题”。 以此次发布的国内首款大模型全面重构的智能客服——百度智能云客悦为例，相比传统客服，客悦可结合大模型的理解、推理、记忆能力，实现更友好的对话、更高效的运营。 比如，当用户提问“我的车总有吱吱吱的声音”，传统客服无法理解“吱吱吱”这种口语化的表达。 而客悦在大模型的加持下，会继续追问用户该问题持续的时间和频次，并通过推理反馈用户，可能是皮带老化或者张紧轮松动导致，建议到店检查。 若用户反馈没时间检查，客悦还会基于自身知识库，提醒不检修可能导致车辆失去动力、长期会引起发动机故障等问题，引起用户重视，守护行车安全。目前，用户问题自助解决率已超过90%。 在运营效率方面，上一代的传统智能客服进行业务办理、知识咨询、闲聊等能力，需要花费的人效约100人/天，而客悦仅需约15.5人/天，大模型客服运营效率提升6倍。 目前为止，百度智能云已经布局了电力、汽车、金融、政务等十余个行业大模型，并取得了不错的效果，客户中也出现了国家电网、浦发银行、泰康、吉利等知名企业。 相比之下，阿里采用了另一套逻辑：赋能于内部已有应用和服务，再技术外溢至行业客户。 除已经发布“通义千问”大模型外，夸克也发布了自研大模型，应用于通用搜索、医疗健康等场景；后加之内部推行“云钉一体”，作为办公一体化平台，钉钉上线AI魔法棒，推出17项与AI相关服务，也为通义千问大模型助力颇多。 同时，阿里也提供了不少类似于Anyone fit类型的图像模型解决方案，其工具十分贴合电商需求场景。 因在电商、物流层面的深厚积累，让阿里拥有了对不同领域的行业特点、业务流程和客户需求有了充分的认识。 基于此，阿里的产品便可以在深度了解用户需求的基础上，为客户提供定制化的解决方案，满足其业务需求，提高其业务效率和竞争力。这让大模型有了其应有之意，不至于沦落为“无源之水”。 头部大厂领跑大模型行业落地 在大模型的 toB 竞争中，本质而言，是取决于客户企业对商业价值的认知。和其他行业一样，在大模型领域，“多快好省” 和 “物美价廉” 难以两全，匆忙上阵的结果可能是一地鸡毛。 因此，企业客户在大模型的选择上更为审慎。尽管大模型的应用还在初期，但企业在模型选择、模型可靠性、应用成本、使用门槛等层面，已有各种考量和顾虑。 百度集团副总裁侯震宇曾在采访中表示：“最终能够让大模型服务推广开的只有两个原因：第一个是模型效果，第二个是成本。” 以百度智能云为例，其大模型的调用和训练成本一直在下降。文心一言开启内测后，一个月就迭代了四次。 根据百度披露的数据，文心一言的推理成本如今只有发布之初的十分之一，在发布的3个月内推理效率提升10倍，模型推理性能提升50%，模型算力利用率提升1倍。 侯震宇透露，随着技术迭代带来的成本下降，不管是在模型使用，还是在模型微调甚至在模型再训练方面，“价格应该不会成为大家使用或者拥抱大模型的瓶颈”。 与此同时，在SuperCLUE中文大模型7月最新榜单中，百度的大语言模型产品文心一言以62分的总成绩一举超越越GPT-3.5-turbo（59.79）和ChatGLM-130B（59.35）等，稳居行业头部。 除了成本和效果，大模型从开发、应用到调优的每一个环节如何落地，如何基于数据安全合规进行私有化部署等，都是企业客户重点关注的问题。 例如，很多企业需要的聊天机器人，并不是选择具备强大通用能力的大模型就可以，还要求大模型厂商能够提供易用性、完备度、安全性、稳定性都有保证的工具链。 在关注大模型技术栈完备性的同时，企业还需要选择适合自身业务的大模型厂商——既有充分的产业应用经验积累，也能够将技术应用到实际业务场景中。 目前，百度智能云推出的千帆大模型平台就拥有较为全面的数据服务能力，从生成、标注、回流再到模型训练（Post-pretraining、Fine-tuning、Prompt-tuning）、模型评估（主观评估、客观评估）和压缩、自动化 Prompt 工程、到插件应用编排，客户都可以在千帆上一站式完成。 这意味着企业客户可以将基于千帆平台从0开始训练自己的专属模型，同时训练好的模型也可以部署和托管在千帆平台上，获得极致的性能、企业级的高可用性和安全环境。 由于千帆平台已经制备了开箱即用的使用流程，用可视化产品界面的方式引导用户使用，极大降低了使用门槛。对于企业级市场比较担心的安全可靠问题，也内置了安全机制，确保模型的输入和输出的安全。 不久前，IDC发布的《AI大模型技术能力评估报告，2023》对国内主流大模型，包括百度、阿里、腾讯、华为、科大讯飞、360、商汤等14家厂商参进行了评估。 IDC分别对大模型的平台、创新、通用、算法、服务、生态合作、行业覆盖和安全可解释性等诸多方面进行了评价，其中百度 7 个满分，阿里 6 个满分。百度在算法模型、行业覆盖领域拿下行业唯一满分。 可以看到，头部大厂的大模型产品已经有所成效。相较之下，部分初创和腰部公司开始呈现疲态。 从光年之外退出竞争、讯飞大幅亏损难以支撑大模型投入便可以得知，一些 “笨鸟先飞” 的企业已逐渐落后于发展大势。 对于企业业务而言，现阶段更加稳妥的方式还是在大厂之间做出抉择。大厂大模型更能保证服务交付、运维和维保，这也是企业对自身向智能化方向转型更加负责任地选择。 结语 随着企业研发、生产、销售、人力等各项业务场景数字化深入，如何借助大模型的力量，发挥出应用的最大价值，正成为企业商业制胜的关键所在。 接下来的竞争，对于企业而言，不再是局限于大模型的追逐，而是如何基于大模型对应用产品进行自我优化和革新。 对于大模型厂商而言，比拼的不仅是算力、算法和数据，未来长期的发展比的更是落地应用、生态渠道、客户服务、运维等系统性、全面性的支持。 这需要厂商具备强大的技术水平，以及不断迭代升级的能力。要满足可控和合规的要求，也需要厂商有较强的综合能力，能够长期稳定的投入人力物力。 【关于科技云报道】 专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。