标签: DeepSeek

在不久前发布的 《技术实战 | OK3588-C开发板上部署DeepSeek-R1大模型的完整指南》 一文中，小编为大家介绍了DeepSeek-R1在飞凌嵌入式OK3588-C开发板上的移植部署、效果展示以及性能评测，本篇文章不仅将继续为大家带来关于DeepSeek-R1的干货知识，还会深入探讨多种平台的移植方式，并介绍更为丰富的交互方式，帮助大家更好地应用大语言模型。 1、移植过程 1.1 使用RKLLM-Toolkit部署至NPU RKLLM-Toolkit是瑞芯微为大语言模型（LLM）专门开发的转换与量化工具，可以将训练好的模型转化为适应瑞芯微平台的RKLLM格式。该工具针对大语言模型进行了优化，使其能高效地在瑞芯微的NPU（神经网络处理单元）上运行。上一篇文章中提到的部署方式即为通过RKLLM-Toolkit进行的NPU部署。具体步骤如下： (1) 下载RKLLM SDK： 首先从GitHub下载RKLLM SDK包，并上传至虚拟机。SDK下载链接： (https://github.com/airrockchip/rknn-llm)。 (2) Python版本检查： 确保安装的SDK版本与目标环境兼容(目前只支持python3.8或python3.10)。 (3) 准备虚拟机环境： 在虚拟机中安装rkllm-toolkit轮子，轮子包路径（rknn-llm-main\rkllm-toolkit）。 pip install rkllm_toolkit- 1 . 1 . 4 -cp38-cp38-linux_x86_64.whl (4) 下载模型： 选择需要部署的DeepSeek-R1模型。 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B (5) 使用示例代码进行模型转换： 在rknn-llm-main\examples\DeepSeek-R1-Distill-Qwen-1.5B_Demo路径下，使用RKLLM-Toolkit提供的示例代码进行模型格式转换。 python generate_data_quant .py -m / path / to /DeepSeek-R1-Distill-Qwen- 1.5 Bpython export_rkllm .py (6) 编译可执行程序： 通过运行deploy下build-linux.sh脚本（将交叉编译器路径替换为实际路径）直接编译示例代码。这将在目录中生成一个文件夹，其中包含可执行文件和文件夹。 进行交叉编译生成可执行文件。 ./build-linux.sh (7) 部署模型： 将已编译好的 _W8A8_RK3588.rkllm 文件和librkllmrt.so动态库文件（路径为：rknn-llm-main\rkllm-runtime\Linux\librkllm_api\aarch64 ），一同拷贝到编译后生成的 build_linux_aarch64_Release 文件夹内，然后将此文件夹上传到目标板端。 接着，为目标板端build_linux_aarch64_Release文件夹中的 llm_demo 文件添加执行权限并执行它。 chmod +x llm_demo./llm_demo _W8A8_RK3588.rkllm 10000 10000 演示画面1 优势与不足： - 优势： 部署至NPU后，大语言模型能高效运行，性能表现优异，且对CPU资源的占用较少。 - 不足： 相较于其他方法，部署过程稍显复杂，需要较强的技术背景和经验。 1.2 使用Ollama一键部署至CPU Ollama是一个开源的本地化大型语言模型（LLM）运行框架，支持在本地环境下运行各种开源LLM模型（如LLaMA、Falcon等），并提供跨平台支持（macOS、Windows、Linux）。 通过Ollama，用户可以无需依赖云服务，轻松部署和运行各种大语言模型。尽管Ollama支持快速部署，但由于DeepSeek-R1尚未在RK3588芯片上进行优化，因此只能在CPU上运行，可能会占用较高的CPU资源。具体步骤如下： (1) 下载Ollama： 根据需要下载并安装Ollama， curl -fsSL https://ollama.com/install.sh | sh 若下载速度较慢，可参考以下镜像方式进行加速。 curl -fsSL https://ollama.com/install.sh -o ollama_install.shchmod +x ollama_install.shsed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.shsh ollama_install.sh (2) 查看Ollama结果： 确认Ollama正确安装，并运行相关命令查看部署结果。 Ollama -- help (3) 下载DeepSeek-R1： 从Ollama官网渠道获取下载DeepSeek-R1模型的指令。 (4) 运行DeepSeek-R1： 通过Ollama命令行接口启动DeepSeek-R1模型。 ollama run deepseek-r1: 1 .5b 演示画面2 优势与不足： - 优势： 部署过程简便快捷，适合快速测试和应用。 - 不足： 因模型未针对RK3588优化，在CPU上运行时可能导致较高的CPU占用，影响性能。 2、在FCU3001平台上部署其他大模型 除了DeepSeek-R1，Ollama还支持部署其他大语言模型，如通义千问（Qwen）等，这展示了Ollama的广泛适用性。接下来，我们以通义千问为例，在飞凌嵌入式推出的一款搭载英伟达处理器的AI边缘计算终端 FCU3001（基于NVIDIA Jetson Xavier NX处理器）上部署大语言模型： FCU3001通过其强大的计算能力和优化的软件支持，能够高效地运行Ollama所支持的大语言模型，如通义千问。在部署过程中，我们可以充分利用Ollama提供的灵活性和易用性，确保大语言模型在FCU3001上稳定、流畅地运行。步骤如下： (1) 安装CUDA环境： 可以使用NVIDIA Jetson Xavier NX的GPU来运行模型。Ollama的安装方法可以参考上述。 sudo apt updatesudo apt upgradesudo apt install nvidia-jetpack - y (2) 进入Ollama官网： 浏览Ollama支持的其他模型。 (3) 选择版本： 从Ollama支持的模型列表中选择千问Qwen 1.8B版本。 (4) 运行模型： 在Ollama环境下，使用命令ollama run qwen:1.8b启动通义千问模型。 ollama run qwen: 1 .8b 演示画面3 3、交互方式 在前述的部署方式中，交互方式主要基于串口调试，缺少图形界面，无法展示图片、表单等元素，也不能呈现历史对话。为了提升用户体验，我们可以通过集成Chatbox UI或Web UI等方式，提供更为丰富的交互体验。 3.1 Chatbox UI Chatbox是一款集成多种语言模型的AI助手工具，支持如ChatGPT、Claude等多种模型。它不仅具备本地数据存储和多语言切换功能，还支持图像生成、Markdown和LaTeX等格式，提供人性化的界面和团队协作功能。Chatbox支持Windows、macOS、Linux系统，用户可在本地快速实现对大语言模型的交互。步骤如下： (1) 下载Chatbox： 从Chatbox官网(https://chatboxai.app/zh)下载适合的安装包。 (2) 安装并配置： 下载完成后是一个Chatbox-1.10.4-arm64.AppImage的文件，其实就是一个可执行文件，添加权限即可运行，就可以配置本地ollama API下的LLM模型了。 chmod +x Chatbox-1.10.4-arm64.AppImage./Chatbox-1.10.4-arm64.AppImage (3) 问答对话： 用户可以通过直观的图形界面与模型进行交流，体验更为便捷、流畅的交互。 演示画面4 3.2 Web UI Web UI通过网页或网络应用提供图形化用户界面，使得用户能够轻松通过浏览器与大语言模型进行交互。用户只需在浏览器中访问相应的IP地址和端口号，即可进行实时提问。步骤如下： (1) Web UI环境搭建： 配置Web UI所需的环境。Web UI建议使用python3.11版本。所以使用的Miniconda创建python==3.11虚拟环境。 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.shchmod +x Miniconda3-latest-Linux-aarch64.sh./Miniconda3-lates 搭建Web UI环境。 conda create --name Web-Ui python=3.11conda activate Web-Uipip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple (2) 启动Web UI： 使用open-webui serve启动Web UI应用，服务器的IP地址和端口号为0.0.0.0:8080。 open -webui serve (3) 访问Web UI： 在浏览器中输入IP地址和端口号，打开Web UI界面，开始与大语言模型互动。 注册账号 演示画面5 4、总结 本文全面展示了OK3588-C开发板及FCU3001边缘AI网关上大语言模型的多种移植方式，并介绍了如何通过Chatbox UI和Web UI等多种交互方式提升用户体验。 飞凌嵌入式推出了多款嵌入式AI产品，如OK3588-C、OK3576-C、OK-MX9352-C、OK536-C等开发板，还有AI边缘计算终端FCU3001，算力范围从0.5TOPS到21TOPS不等，可以满足不同客户的AI开发需求。如果您对这些产品感兴趣，欢迎随时与我们联系，飞凌嵌入式将为您提供详细的技术支持与指导。

DeepSeek的融入将为制造业带来何种影响？据了解，业内普遍持积极态度，认为DeepSeek不仅带来生产全生命周期的优化，也实现了成本的降低。“这一技术突破实现数据的全流程自主掌控，让生产设备成为‘会思考’的工作伙伴。” 业内人士说，高性能算力将为企业决策提供实时、精准的智能支持，实现高效处理复杂任务，辅助提升运营效率，也将打造出设备预测性维护、个性化定制、智能排产、供应链协同等更多应用场景，助力提质降本增效。 一、DeepSeek技术概述 DeepSeek，凭借其强大的深度学习和自然语言处理能力，能够理解复杂问题并提供精准解决方案。它不仅能够作为学习、工作、生活的助手，满足用户在不同场景下的需求，更能在制造业中发挥重要作用。通过自然语言交互，用户无需学习复杂的操作即可与DeepSeek进行对话，轻松获取所需信息和服务。此外，DeepSeek的低成本、高效率以及开源策略，进一步降低了使用门槛，吸引了众多企业和开发者的关注。 二、DeepSeek在MES（制造执行系统）中的应用主要体现在以下几个方面： 1. 数据采集与监控 实时数据采集：通过传感器和物联网设备，DeepSeek能够实时采集生产线上的各类数据，如设备状态、生产进度、质量参数等。 数据监控：对采集到的数据进行实时监控，及时发现异常情况并报警，确保生产过程的稳定性和可靠性。 2. 生产调度与优化 智能调度：基于实时数据和历史数据，DeepSeek能够进行智能调度，优化生产资源的分配，提高生产效率。 生产计划优化：通过分析生产计划和实际生产情况，DeepSeek能够提出优化建议，帮助企业更好地制定和调整生产计划。 3. 质量控制 实时质量监控：DeepSeek可以实时监控生产过程中的质量参数，及时发现并处理质量问题，减少次品率。 质量追溯：通过记录生产过程中的各项数据，DeepSeek能够实现产品质量的全程追溯，帮助企业快速定位和解决质量问题。 4. 设备维护与管理 预测性维护：通过分析设备运行数据，DeepSeek能够预测设备可能出现的故障，提前进行维护，减少设备停机时间。 设备管理：DeepSeek能够对生产设备进行全面的管理，包括设备状态监控、维护记录、备件管理等，提高设备利用率。 5. 数据分析与决策支持 大数据分析：DeepSeek能够对生产过程中产生的大量数据进行分析，挖掘潜在的价值信息，为企业决策提供依据。 万界星空科技专注于MES系统研发、制造业数字化转型，致力于提供领先的培训、诊断、咨询规划、方案设计、落地实施和持续运营提升辅导。助力从传统制造向智能制造的转型，在多个领域内打造了行业的标杆案例。而今，MES已全面接入DeepSeek大模型，将为AI+智能制造领域注入崭新的活力，助力制造企业抢占AI时代。

最近，人工智能领域掀起新一轮技术浪潮，中国科技公司DeepSeek（深度求索）凭借其在通用人工智能（AGI）领域的突破性探索，成为全球瞩目的焦点。作为一家以多模态大模型为核心的驱动力企业，DeepSeek通过高性能自然语言处理和深度学习算法重塑人机交互体验，构建具备自主学习和推理能力的AI系统。 ​ DeepSeek以“轻量化AI”技术打破算力与场景的边界，将智能能力下沉至边缘设备，赋能智慧城市、智能医疗、工业制造等场景。而与低功耗蓝牙（BLE）技术的结合，将在多个领域催生创新应用和技术融合，尤其是在物联网（IoT）、边缘计算、健康监测和智能硬件等领域。以下是可能的技术融合方向和新应用产品： 融合新技术 AI驱动的BLE边缘计算 实时数据处理 ：BLE设备通常资源有限，结合DeepSeek的轻量化AI模型（如模型压缩、知识蒸馏技术），可在本地实现实时数据分析（如语音识别、运动检测），减少云端依赖。 自适应功耗优化 ：AI可动态调整BLE设备的传输频率和功耗模式，例如根据环境数据预测设备使用场景，优化续航。 联邦学习与隐私保护 BLE设备（如健康手环）收集的用户数据可通过联邦学习在本地训练AI模型，保护隐私的同时提升模型性能（如心率异常检测）。 多模态感知融合 BLE 5.x+支持多天线定位（AoA/AoD），结合DeepSeek的计算机视觉或环境感知模型，可实现高精度室内导航（如商场导购机器人）或AR/VR场景交互。 AI增强的BLE Mesh网络 在智能家居中，AI可优化BLE Mesh网络的拓扑结构，动态管理设备间的通信优先级（如在火灾报警中优先传输烟雾传感器数据）。 融合新应用 智能健康监测设备 产品形态：无创血糖监测手环、癫痫预警胸针、慢性病管理贴片 技术融合：BLE传输生理数据（心率、血氧）+ DeepSeek的时序数据分析模型，实时预警疾病风险。 工业物联网（IIoT）解决方案 预测性维护传感器标签：硬件上内置三轴振动传感器和温度传感器的抗冲击BLE标签（IP67）。结合AI模型，DeepSeek的故障预测模型，通过振动频谱分析识别轴承磨损、电机失衡。例如：工厂设备贴上标签后，运维人员通过手机APP接收预警（如“3号风机轴承预计7天后失效”），减少非计划停机。 智能仓储定位系统：定位技术：BLE 5.1方向查找（AoA） + DeepSeek的SLAM算法，实现厘米级定位。边缘计算：仓库AGV小车通过BLE接收实时位置指令，AI动态规划路径。 场景：仓库中货物位置实时更新，AGV自动避障并搬运，效率提升30%。 智能家居与消费电子 自适应环境控制系统：多设备联动，BLE Mesh网络连接空调、加湿器、空气净化器。搭配DeepSeek的强化学习模型，根据用户历史偏好和实时环境数据（温湿度、PM2.5）自动调节设备。例如：系统识别用户回家前自动通风，入睡后调低风速并切换静音模式。 AI语音情趣用品：BLE情趣用品+接入DeepSeek的情趣社交APP，支持设备离线语音。用户在情趣社交APP，并与虚拟角色（离线）或远程对话端的用户进行交流，DeepSeek识别文字与语音模型（50MB），并做出分析简化，将相应指令传输到情趣设备上。场景：用户与虚拟角色之间语音聊天达到暧昧高潮，DeepSeek识别分析并优化数据指令通过BLE传递给情趣用品振动模式和频率。 无障碍辅助设备 视障人士导航腰带：BLE信标部署在商场/地铁站，智障人士佩戴的腰带内置振动马达和超声波障碍物传感器。AI模型：DeepSeek的实时路径规划模型，结合BLE定位和传感器数据生成振动导航（如左震表示左转）。场景：视障用户进入地铁站后，腰带引导至安检口、购票机和站台，避开临时障碍物（如清洁车）。 聋人智能手环：BLE手环持续监听环境声音，DeepSeek的声学模型识别关键声音（如火灾警报、婴儿哭声）。触觉反馈：通过振动模式和LED闪光提示声音类型。场景：手环识别到门铃声时振动，识别到救护车鸣笛时高频闪烁红光，提醒用户避让。 关键技术挑战 算力平衡 ：如何在BLE设备的有限资源下部署轻量化AI模型（如TinyML技术）。 隐私计算与数据安全： DeepSeek的联邦学习框架支持跨设备模型训练，确保健康数据不出本地。BLE传输的加密与AI模型的反对抗攻击（如防止医疗数据被篡改）。 自适应协议： BLE动态切换广播间隔和连接参数，AI预测设备使用场景（如运动时提高心率传输频率）。 多设备协同： 大规模BLE Mesh网络中如何实现高效的AI任务分配（如分布式推理）。 在这场技术变革中，低功耗蓝牙（BLE）作为物联网生态的“隐形动脉”，正加速AI能力的场景渗透——以智汉物联为代表的行业变革者，依托其在多年无线通信及边缘计算的经验，研发出一系列高性能、低功耗的BLE模块和智慧终端及网关产品，智汉物联正积极参与DeepSeek的技术生态融合的开发中，未来会全力拓展一系列“AIoT”创新解决方案。 DeepSeek与低功耗蓝牙（BLE）技术的结合，将推动人工智能向“无感化”和“普惠化”迈进，通过轻量化AI模型与低功耗硬件的深度融合，在医疗、工业、家居等领域催生创新应用。未来，随着超低功耗AI芯片和自适应协议的发展，这种“隐形智能”将渗透至更广泛场景，AI与BLE的协同将打破硬件限制，让智能服务无声嵌入生活细节，同时降低部署成本，助力数字化转型，开启“感知-决策-行动”无缝闭环的新时代。

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。 RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。 01 移植过程 （1）下载DeepSeek-R1源码 在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。 （2）安装转换工具 在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。 （3）模型转换 使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。 （4）编译DeepSeek-R1程序 安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。 （5）模型部署 将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。 02 效果展示 DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。 （1）普通信息搜索 DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。 （2）专业设备问题维修意见 对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。 （3）数学题解答 DeepSeek-R1拥有卓越的数学运算能力，擅长攻克各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。 （4）编程任务 DeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。 不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。 03 性能测评 在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标： 实时性： 从视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。 CPU占用： DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。 内存占用： 在进行上述功能测试时，DeepSeek-R1的内存占用率约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。 NPU占用： 由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。 在此次演示中，我们全面展示了DeepSeek-R1的实际应用成效，其强大功能与高效能表现得到了有力证明。后续文章中将详细介绍DeepSeek-R1向OK3588-C开发板的移植细节，包括多样化的移植方式及操作步骤。如果您对这一过程感兴趣，欢迎随时与我们联系，飞凌嵌入式将为您提供全面的技术支持和详细指导，期待与您共同探索更多可能性！