标签: AI大模型

在不久前发布的 《技术实战 | OK3588-C开发板上部署DeepSeek-R1大模型的完整指南》 一文中，小编为大家介绍了DeepSeek-R1在飞凌嵌入式OK3588-C开发板上的移植部署、效果展示以及性能评测，本篇文章不仅将继续为大家带来关于DeepSeek-R1的干货知识，还会深入探讨多种平台的移植方式，并介绍更为丰富的交互方式，帮助大家更好地应用大语言模型。 1、移植过程 1.1 使用RKLLM-Toolkit部署至NPU RKLLM-Toolkit是瑞芯微为大语言模型（LLM）专门开发的转换与量化工具，可以将训练好的模型转化为适应瑞芯微平台的RKLLM格式。该工具针对大语言模型进行了优化，使其能高效地在瑞芯微的NPU（神经网络处理单元）上运行。上一篇文章中提到的部署方式即为通过RKLLM-Toolkit进行的NPU部署。具体步骤如下： (1) 下载RKLLM SDK： 首先从GitHub下载RKLLM SDK包，并上传至虚拟机。SDK下载链接： (https://github.com/airrockchip/rknn-llm)。 (2) Python版本检查： 确保安装的SDK版本与目标环境兼容(目前只支持python3.8或python3.10)。 (3) 准备虚拟机环境： 在虚拟机中安装rkllm-toolkit轮子，轮子包路径（rknn-llm-main\rkllm-toolkit）。 pip install rkllm_toolkit- 1 . 1 . 4 -cp38-cp38-linux_x86_64.whl (4) 下载模型： 选择需要部署的DeepSeek-R1模型。 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B (5) 使用示例代码进行模型转换： 在rknn-llm-main\examples\DeepSeek-R1-Distill-Qwen-1.5B_Demo路径下，使用RKLLM-Toolkit提供的示例代码进行模型格式转换。 python generate_data_quant .py -m / path / to /DeepSeek-R1-Distill-Qwen- 1.5 Bpython export_rkllm .py (6) 编译可执行程序： 通过运行deploy下build-linux.sh脚本（将交叉编译器路径替换为实际路径）直接编译示例代码。这将在目录中生成一个文件夹，其中包含可执行文件和文件夹。 进行交叉编译生成可执行文件。 ./build-linux.sh (7) 部署模型： 将已编译好的 _W8A8_RK3588.rkllm 文件和librkllmrt.so动态库文件（路径为：rknn-llm-main\rkllm-runtime\Linux\librkllm_api\aarch64 ），一同拷贝到编译后生成的 build_linux_aarch64_Release 文件夹内，然后将此文件夹上传到目标板端。 接着，为目标板端build_linux_aarch64_Release文件夹中的 llm_demo 文件添加执行权限并执行它。 chmod +x llm_demo./llm_demo _W8A8_RK3588.rkllm 10000 10000 演示画面1 优势与不足： - 优势： 部署至NPU后，大语言模型能高效运行，性能表现优异，且对CPU资源的占用较少。 - 不足： 相较于其他方法，部署过程稍显复杂，需要较强的技术背景和经验。 1.2 使用Ollama一键部署至CPU Ollama是一个开源的本地化大型语言模型（LLM）运行框架，支持在本地环境下运行各种开源LLM模型（如LLaMA、Falcon等），并提供跨平台支持（macOS、Windows、Linux）。 通过Ollama，用户可以无需依赖云服务，轻松部署和运行各种大语言模型。尽管Ollama支持快速部署，但由于DeepSeek-R1尚未在RK3588芯片上进行优化，因此只能在CPU上运行，可能会占用较高的CPU资源。具体步骤如下： (1) 下载Ollama： 根据需要下载并安装Ollama， curl -fsSL https://ollama.com/install.sh | sh 若下载速度较慢，可参考以下镜像方式进行加速。 curl -fsSL https://ollama.com/install.sh -o ollama_install.shchmod +x ollama_install.shsed -i 's|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.7/|' ollama_install.shsh ollama_install.sh (2) 查看Ollama结果： 确认Ollama正确安装，并运行相关命令查看部署结果。 Ollama -- help (3) 下载DeepSeek-R1： 从Ollama官网渠道获取下载DeepSeek-R1模型的指令。 (4) 运行DeepSeek-R1： 通过Ollama命令行接口启动DeepSeek-R1模型。 ollama run deepseek-r1: 1 .5b 演示画面2 优势与不足： - 优势： 部署过程简便快捷，适合快速测试和应用。 - 不足： 因模型未针对RK3588优化，在CPU上运行时可能导致较高的CPU占用，影响性能。 2、在FCU3001平台上部署其他大模型 除了DeepSeek-R1，Ollama还支持部署其他大语言模型，如通义千问（Qwen）等，这展示了Ollama的广泛适用性。接下来，我们以通义千问为例，在飞凌嵌入式推出的一款搭载英伟达处理器的AI边缘计算终端 FCU3001（基于NVIDIA Jetson Xavier NX处理器）上部署大语言模型： FCU3001通过其强大的计算能力和优化的软件支持，能够高效地运行Ollama所支持的大语言模型，如通义千问。在部署过程中，我们可以充分利用Ollama提供的灵活性和易用性，确保大语言模型在FCU3001上稳定、流畅地运行。步骤如下： (1) 安装CUDA环境： 可以使用NVIDIA Jetson Xavier NX的GPU来运行模型。Ollama的安装方法可以参考上述。 sudo apt updatesudo apt upgradesudo apt install nvidia-jetpack - y (2) 进入Ollama官网： 浏览Ollama支持的其他模型。 (3) 选择版本： 从Ollama支持的模型列表中选择千问Qwen 1.8B版本。 (4) 运行模型： 在Ollama环境下，使用命令ollama run qwen:1.8b启动通义千问模型。 ollama run qwen: 1 .8b 演示画面3 3、交互方式 在前述的部署方式中，交互方式主要基于串口调试，缺少图形界面，无法展示图片、表单等元素，也不能呈现历史对话。为了提升用户体验，我们可以通过集成Chatbox UI或Web UI等方式，提供更为丰富的交互体验。 3.1 Chatbox UI Chatbox是一款集成多种语言模型的AI助手工具，支持如ChatGPT、Claude等多种模型。它不仅具备本地数据存储和多语言切换功能，还支持图像生成、Markdown和LaTeX等格式，提供人性化的界面和团队协作功能。Chatbox支持Windows、macOS、Linux系统，用户可在本地快速实现对大语言模型的交互。步骤如下： (1) 下载Chatbox： 从Chatbox官网(https://chatboxai.app/zh)下载适合的安装包。 (2) 安装并配置： 下载完成后是一个Chatbox-1.10.4-arm64.AppImage的文件，其实就是一个可执行文件，添加权限即可运行，就可以配置本地ollama API下的LLM模型了。 chmod +x Chatbox-1.10.4-arm64.AppImage./Chatbox-1.10.4-arm64.AppImage (3) 问答对话： 用户可以通过直观的图形界面与模型进行交流，体验更为便捷、流畅的交互。 演示画面4 3.2 Web UI Web UI通过网页或网络应用提供图形化用户界面，使得用户能够轻松通过浏览器与大语言模型进行交互。用户只需在浏览器中访问相应的IP地址和端口号，即可进行实时提问。步骤如下： (1) Web UI环境搭建： 配置Web UI所需的环境。Web UI建议使用python3.11版本。所以使用的Miniconda创建python==3.11虚拟环境。 安装Miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.shchmod +x Miniconda3-latest-Linux-aarch64.sh./Miniconda3-lates 搭建Web UI环境。 conda create --name Web-Ui python=3.11conda activate Web-Uipip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple (2) 启动Web UI： 使用open-webui serve启动Web UI应用，服务器的IP地址和端口号为0.0.0.0:8080。 open -webui serve (3) 访问Web UI： 在浏览器中输入IP地址和端口号，打开Web UI界面，开始与大语言模型互动。 注册账号 演示画面5 4、总结 本文全面展示了OK3588-C开发板及FCU3001边缘AI网关上大语言模型的多种移植方式，并介绍了如何通过Chatbox UI和Web UI等多种交互方式提升用户体验。 飞凌嵌入式推出了多款嵌入式AI产品，如OK3588-C、OK3576-C、OK-MX9352-C、OK536-C等开发板，还有AI边缘计算终端FCU3001，算力范围从0.5TOPS到21TOPS不等，可以满足不同客户的AI开发需求。如果您对这些产品感兴趣，欢迎随时与我们联系，飞凌嵌入式将为您提供详细的技术支持与指导。

人形机器人与其他特定情形机器人 最大区别的就在于 应用场景的多元化 。 毕竟，人形机器人大规模落地就必须要做到 「通用性」 。 01、 2024，一日千里的人形机器人 虽然与2023年仅一“墙”之隔，但2024年走过不到4个月的人形机器人领域好似已过尽千帆。 去年底，业界还在感叹特斯拉人形机器人Optimus的进化之快，Optimus-Gen 2相比上一代在体重、运动能力、动作精细度等多维度均有大幅提升。今年初，Optimus-Gen 3已经再次自我革新。 日历翻到2024年，人形机器人行业可谓一日千里。 年初，在蔚来第二先进制造基地总装车间，身高接近1.7米，来自“人形机器人第一股”的优必选工业人形机器人Walker S正在进行实地“培训”，这也是全球首例人形机器人在汽车工厂流水线与人类协作完成汽车装配及质量检查作业。 而在大洋彼岸的美国，美国初创公司Figure也把其第一款人形机器人Figure 01送入宝马的斯巴坦堡汽车工厂打工，以期替代人类从事一些危险度高的工作。 这家刚于2月29日宣布从亚马逊创始人贝索斯、英伟达、OpenAI和微软等公司筹集约6.75亿美元资金的公司，在3月13日就飞速发布了一段视频“交卷”，展示了其Figure 01在OpenAI大模型加持下的“超能力”——能够与人类对话，并能理解、执行人类的指令和任务。 *动图源自网络 视频中的男士询问：「我能吃点东西吗？」 Figure 01回答：「当然！」然后抬起手，拿起一个苹果递给他。 要知道，这段视频是1.0倍原速拍摄，同时该机器人背后并没有人在远程操作，Figure 01是根据桌上的物品自己做出的判断，这充分展示了当前人形机器人和人类以及环境的交互能力。 这段视频瞬间震惊业界和大众的原因，也在于让人们深刻认识到大模型和真实物理世界的距离，已经越来越近。 正如OpenAI的产品与合作副总裁Peter Welinder所说，“我们想探索， 在高性能的多模态模型驱动下，人形机器人能实现什么样的目标。 ” 业界普遍有共识，伴随AI大模型如火如荼的发展，人形机器人企业早已不满足于仅展示人形机器人的行动能力，或者说不满足于“工具人”的身份，而是更迫切地卷起了人形机器人的“智商”。 人形机器人领域，也承载了获得“别人家的孩子”称赞的压力和焦虑。 AI大模型正在成为人形机器人商业化落地的关键，而人形机器人也是AI的重要应用场景之一。 这也是一众企业纷纷瞄准“具身智能”赛道，从各个维度切入人形机器人领域的原因。 02、 全球头部科技企业相继入局，元年开启？ 一一来看。 谷歌 发布新型机器人Transformer架构，通过动态分配计算资源，跳过非必要计算，提高训练效率和推理速度； 英伟达 发布人形机器人通用基础模型Project GR00T，旨在进一步推动其在机器人和具身智能方面的突破； Open AI 不仅为一家挪威人形机器人公司 1X Technologies 提供技术支持，还在与 Figure 合作，将其多模态模型扩展到机器人的感知、推理和交互中； 亚马逊 投资了美国机器人公司Agility Robotics，其人形机器人Digit已经在美国得克萨斯州的仓库搬运塑料箱； 除了前文提到的 优必选 ，还有自2023年2月成立以来，已拿下5轮融资的 智元机器人 ，并于去年8月，成功推出远征A1智元具身智能机器人，搭载自研的PowerFlow关节电机以及灵巧手SkillHand。 *图片来自IDC咨询 事实上除了各大科技公司外，汽车企业也已成为人形机器人领域的主力军。 从2021年到现在， 特斯拉 的人形机器人以每年一次的频率，稳定地刷着存在感； 小米 早在2022年就发布了Cyber One； 小鹏汽车 也于2023年发布其首款人形机器人PX5； 因此，很多人也将2024年定义为人形机器人的元年。但感光现象也在业界众多发声中看到一个更为理性的论调——如果要以创业公司，以及大公司参与到人形机器人赛道的规模去定义，2024年作为人形机器人元年是没有问题的。但如果以人形机器人的应用为标准，那这个元年的定义还有待商榷。 03 谁为人形机器人买单？ 汽车工厂，成为国内外主流人形机器人厂商最先落地的应用场景。 一方面，汽车工厂同时具备 规模大和标准化程度高 的特点，赋予人形机器人实训的条件； 另一方面汽车产业的自动驾驶、传感器等技术与人形机器人具有共通性， 车厂和人形机器人厂商的深度合作可以发挥二者的协同效应 ，因此汽车工厂为最先落地的应用场景，这也是为何一众汽车OEM跨赛道入局人形机器人领域的背后原因。 事实上，早在2021年的特斯拉AI Day上，马斯克就曾说：“我们几乎拥有制造人形机器人所需的所有零部件，因为我们已经制造了带轮子的机器人（特斯拉汽车）。” 特斯拉的人形机器人也将首先放在特斯拉汽车工厂应用，如前所述，优必选Walker S、Figure AI也是先后入驻蔚来和宝马的汽车工厂实训。 具体到汽车生产工序来看，人形机器人大概率应用于质检和汽车总装环节。 在汽车生产的四大车间中，冲压、焊接以及涂装的自动化率都已非常高，仅有质检返修等工作需要依赖人工，例如从之前发布的工厂实训视频中可以看出，优必选的Walker S先后检查完车门锁、安全带和车灯盖板后，走到车头前，极为轻柔地给新车贴上车标。 而总装环节需要完成安装非标零部件、车辆点检、路试等工作，自动化率仅有10%左右，对人工的依赖程度较高。此外，总装线布置密集度是所有车间中最高的，基本一条线隔着另一条线就两三米，所以想要布置更大、自动化率更高的机器非常难，因此未来总装环节自动化率的提升只有依靠人形机器人的导入。 当下，人形机器人落地行业应用看似已经完成从0到1的试水，但从1到100的规模化布局仍是挑战重重。 因此，尽管人形机器人展示了卓越的能力，但至今依然没有整机厂商宣布批量生产。这背后其实就是—— 成本问题和通用性问题。 这2大问题也直接限制了人形机器人的批量“进厂”和“入户”。 人形机器人的整机厂商多数认为，单机成本要控制在20万元人民币以内才能大规模生产，然而目前人形机器人数十万乃至百万级的价格难以打动终端用户采纳其产品。 同时，例如工业级人形机器人会需要有更高的灵活度，比如在汽车工厂里完成质检工作需要弯腰下蹲贴近汽车底盘，就这一类工作而言，人形机器人目前仍然无法取代人类； 其次，在家庭场景中的人形机器人虽然能够完成端茶送水等工作，但不能替代琐碎的家务劳动。 04、 场景通用是人形机器人的核心优势 这就需要软硬协同生态持续完善。 人形机器人与其他特定情形机器人的最大区别就在于 应用场景的多元化 。所以，人形机器人大规模落地就必须要做到 通用性 。 之前已经提及AI大模型正在成为人形机器人商业化落地的关键。只不过，虽然AIGC对人形机器人的发展至关重要，但AIGC不能帮人形机器人完成所有工作。 据悉，人形机器人完成工作需要解决4个维度的问题——逻辑关系、时序关系、空间关系和互动关系。 而AI大模型仅能解决逻辑关系的问题 ，人形机器人可以根据语言命令分析问题和做好任务规划，但是对于机器人怎么抓物品、移动速度多快、如何定位目标等，AI大模型将爱莫能助。 *图片来自IDC咨询 像关节和灵巧手都是人形机器人机械本体进化的重要部件。 作为人形机器人的内部传感器，位置传感器多用于测量人形机器人的自身状态，比如让机器人感知自身运动状态，帮助其按照规定的位置、轨迹等参数运动，几乎机器人每个关节都会使用2个或多个位置传感器。 艾迈斯欧司朗的磁性位置传感器具备的对外部磁场几近“免疫”的能力，成为其“入主”高性能应用的核心优势。 此外，人形机器人由于其复杂的交互性，需要多传感融合，比如，精准紧凑的飞行时间距离测量传感器(1/2/3D)、激光雷达系统（EEL和VCSEL）、用于泛光照明和点阵照明的照明器、在近红外光谱中支持3D主动立体视觉和结构光（路径扫描传感器、人脸识别、物体避让）解决方案的高性能图像传感器……，它们都将使人形机器人更加智能、使用更加便捷，并在无防护区域提供更安全的人机交互界面，而在这些细分领域，艾迈斯欧司朗都布局深远。 艾迈斯欧司朗人形机器人系列方案 如今，具身智能被认为是未来大模型的最佳落地场景，人形机器人——这个赛博朋克式的人类终极幻想，正使得具身智能的设想变得更加具象。 同时，人形机器人正在真正开启与AI的融合发展，建立在机械本体数十年不断进化的基础上，这个进程只会加速。 据国际机器人协会预测，2021年至2030年，全球人形机器人市场规模年复合增长率将高达71%。中国电子学会数据显示，到2030年，我国人形机器人市场规模有望达到8700亿元。

在设计防止AI大模型被黑客病毒入侵时，需要考虑到复杂的加密和解密算法以及模型的实现细节，首先需要了解模型的结构和实现细节。 以下是我使用Python和TensorFlow 2.x实现深度学习模型推理的模型的结构和实现细节： 首先，确保安装了TensorFlow 2.x。可以使用以下命令安装TensorFlow： pip install tensorflow 然后，编写一个简单的深度学习模型并实现推理代码，我现在开始编写一段教电脑如何“深度思考”的代码。想象你正在训练一只名叫 tf.keras 的小猴子玩多层迷宫游戏： import tensorflow as tf # 教小猴子搭建迷宫：先是一间有64个门、打开方式都是用力推的房间（激活函数为relu） # 然后是一排10扇自动分类门（激活函数为softmax） def create_model (): model = tf.keras.models.Sequential( ) # 给小猴子安排一位私人教练（adam优化器）和一套评分规则（损失函数和准确率指标） model. compile (optimizer= 'adam' , loss= 'sparse_categorical_crossentropy' , metrics= ) # 训练完毕，把这只懂迷宫玩法的小猴子送出来 return model # 把刚刚训练好的小猴子领回家 model = create_model() # 给小猴子一些线索（输入数据），让它预测出口在哪 input_data = ] # 小猴子开始在脑海里模拟走迷宫，给出预测结果 predictions = model.predict(input_data) # 打印出小猴子对出口的预测：“我觉得是这里！” print ( 'Predictions:' , predictions) 【AI大模型远程控制启动车辆1（原创）】 https://www.bilibili.com/video/BV1yu4m1M7ZS/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 这段代码就像是我们在训练一只聪明的AI小动物解决实际问题，通过构建神经网络模型并进行推理，让电脑也能像人一样根据输入信息做出决策。 在上述示例中，我创建了一个简单的深度学习模型，该模型具有两个全连接层。然后，加载了该模型并为其提供了输入数据。最后，我运行了模型的推理，并输出了预测结果。此外，还需要考虑其他因素，如模型的优化器、损失函数和评估指标等。 为了防止AI大模型被黑客病毒入侵控制，通常可以采取以下措施： 数据加密 ：对模型的数据进行加密，包括训练数据和模型参数，以防止数据在传输或存储过程中被窃取或篡改。使用安全的编程实践，如输入验证、输出编码和错误处理。 访问控制 ：设置严格的访问控制机制，只允许授权的人员或系统访问模型。对模型进行安全加固，例如限制模型的访问权限、使用防火墙等。 安全评估 ：定期进行安全评估和漏洞扫描，发现并修复潜在的安全漏洞。定期更新模型和相关软件，以修复已知的安全漏洞。 模型监控 ：实时监控模型的输入和输出，检测异常行为或异常数据，及时采取措施防止入侵。对模型进行监控，以便及时发现异常行为。 员工培训 ：培训开发和使用模型的人员，提高他们的安全意识，避免人为因素导致的安全风险。 【AI大模型远程控制启动车辆3（原创）】 https://www.bilibili.com/video/BV1UJ4m1b7s7/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 以下是我编写的一个简单的Python代码，用于防止AI大模型被黑客病毒入侵控制： import os # 这是咱的“大管家”，专门负责家里（系统）的各种琐事，比如找个文件、开个窗户什么的。 import sys # 哎呀，这位是“掌门人”，掌管着整个剧本（程序）的运行环境和江湖地位（参数列表）。 import time # 时间君闪亮登场！它能帮你精确到秒地数钱，哦不对，是计时。 from watchdog.observers import Observer # 嘿嘿，这是我们的“看门狗”监视器，24小时不眨眼盯着文件夹的变化，比小区保安还尽职。 from watchdog.events import FileSystemEventHandler # 这位是“事件处理大师”，专门研究文件系统的风吹草动，一旦有情况，立刻汇报！ class ModelSecurityHandler ( FileSystemEventHandler ): # 这是个守护模型安全的“保镖类”，它的任务就是保护咱们的AI模型。 def on_modified ( self, event ): # 如果有人对模型文件动手脚，触发了"on_modified"这个技能（方法）。 if event.src_path.endswith( '.model' ): # 检查是不是模型文件被改了，就像检查是不是自家宝贝被摸了一样。 print ( f"检测到模型文件 {event.src_path} 被修改，正在恢复..." ) # 发现问题就马上喊话：“喂喂喂，谁动了我的奶酪？现在开始复原！” restore_model(event.src_path) # 然后赶紧调用“还原大法”，把模型恢复原状。 def restore_model ( model_path ): # 这是“还原大法”的具体实现，但目前还是空壳子，暂时假装在执行神秘操作... pass def main (): # 进入主战场啦！ path = sys.argv if len 1 else '.' # 主角出场前先定个舞台（路径），如果观众（用户）指定了位置，就去那里；没指定，默认就在当前目录表演。 event_handler = ModelSecurityHandler() # 创建一个“保镖”角色。 observer = Observer() # 再召唤出一只“看门狗”。 observer.schedule(event_handler, path, recursive= True ) # 给“看门狗”安排任务，让它带着“保镖”全方位无死角盯着目标路径下的所有动静。 observer.start() # “看门狗”上岗啦！ try : while True : # 主角在此陷入死循环，每过一秒都要打个盹儿（sleep）。 time.sleep( 1 ) except KeyboardInterrupt: # 唯一能让主角从梦中醒来的，只有观众按下退出键这招“狮吼功”。 observer.stop() # 接到信号，“看门狗”停止巡逻。 observer.join() # 最后，“看门狗”完成使命，与主角一同退场。 if __name__ == "__main__" : # 当整部剧由自己独立演出时，启动剧情主线！ main() # 开始行动吧！ 下面是不带我讲解的纯净版： import os import sys import time from watchdog.observers import Observer from watchdog.events import FileSystemEventHandler class ModelSecurityHandler ( FileSystemEventHandler ): def on_modified ( self, event ): if event.src_path.endswith( '.model' ): print ( f"检测到模型文件 {event.src_path} 被修改，正在恢复..." ) restore_model(event.src_path) def restore_model ( model_path ): # 在这里添加恢复模型的代码 pass def main (): path = sys.argv if len 1 else '.' event_handler = ModelSecurityHandler() observer = Observer() observer.schedule(event_handler, path, recursive= True ) observer.start() try : while True : time.sleep( 1 ) except KeyboardInterrupt: observer.stop() observer.join() if __name__ == "__main__" : main() 这个代码使用了 watchdog 库来监控模型文件的变化。当检测到模型文件被修改时，会调用 restore_model 函数来恢复模型。使用时需要在 restore_model 函数中添加实际的恢复模型的代码。 【AI大模型远程控制启动车辆2（原创）】 https://www.bilibili.com/video/BV11m411R7ya/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 在设计防止AI大模型被黑客病毒入侵的代码时，需要考虑更复杂的加密和解密算法以及模型的实现。下面我将写一个更复杂的防护措施： import os import sys import hashlib # 这位是“密码学大师hashlib”，专攻数据指纹鉴定，让你的数据独一无二。 import cryptography # “cryptography”可是安全界的重量级人物，负责各类加密解密大戏。 from cryptography.fernet import Fernet # 引入Fernet这位神秘特工，他掌管着高级加密技术，让数据变身成为秘密情报。 # 我们先定义个简单加密方法（其实就是个玩笑，实际中得用更厉害的招数） def simple_encrypt ( data ): key = Fernet.generate_key() # 特工Fernet生成一把独门密钥 cipher_suite = Fernet(key) # 拿着密钥启动加密设备 cipher_text = cipher_suite.encrypt(data.encode()) # 把明文数据变成加密后的摩斯密码 return cipher_text # 返回这串神秘代码 # 然后定义一个简单的解密方法（同样只是示例，真实情况会复杂得多） def simple_decrypt ( cipher_text ): key = Fernet.generate_key() # 又生成一把新密钥（这里演示不对，实际要使用同一把密钥） cipher_suite = Fernet(key) # 再次启动解密设备 plain_text = cipher_suite.decrypt(cipher_text) # 将加密信息破解回原始内容 return plain_text # 原始数据又回来啦！ --剧情高潮-- # 接下来，主角出场！AI模型大侠的源文件名是'ai_model.bin' model_file = 'ai_model.bin' with open (model_file, 'rb' ) as f: # 打开宝箱读取模型秘籍 model_data = f.read() # 把秘籍内容全盘接收 # 对秘籍进行加密，藏起来 encrypted_model_data = simple_encrypt(model_data) # 写入加密后的秘籍副本《加密版ai_model.bin》 encrypted_model_file = 'encrypted_ai_model.bin' with open (encrypted_model_file, 'wb' ) as f: f.write(encrypted_model_data) # 秘籍存好，妥妥的 --进入日常环节-- # 加载秘籍前先解密，就像每次练功前先解锁秘籍一样 def load_ai_model (): global model_data # 全球公告：我要用到这个变量了 with open (encrypted_model_file, 'rb' ) as f: # 打开加密秘籍 cipher_text = f.read() # 把加密内容拿过来 model_data = simple_decrypt(cipher_text) # 解密，还原成真经 # 在退出程序时，记得再次加密并保存秘籍，防止被偷窥 def save_ai_model (): global model_data # 同样全球公告一下 encrypted_model_data = simple_encrypt(model_data) # 先加密 with open (encrypted_model_file, 'wb' ) as f: f.write(encrypted_model_data) # 再次将加密后的秘籍封存 # 开始修炼！加载秘籍 load_ai_model() # 安排在剧终时自动加密保存秘籍 atexit.register(save_ai_model) # 使用AI大侠开始预测（此处纯属虚构，真实情况请结合具体模型施展神通） def predict ( data ): # 在这里我们已经实现了一个神奇的深度学习推理过程... # 练习一次预测功夫 predict(model_data) 防止 AI 大模型被黑客病毒入侵控制需要综合考虑多个方面的安全措施。由于具体的实现会因模型的特点，应用场景和安全需求会有所不同。我会帮助客户构建安全的 AI 大模型。上面的只是一些基本的安全措施，在实际中我可以利用eFPGA芯片对上述的功能进行加速，下面我编写一个加速代码： // 这是一个用FPGA搭建的AI大模型安全防护系统 module ai_model_protection ( input logic clk, // 好比是AI心脏的脉搏时钟，保证一切动作有节奏地跳动 input logic rst_n, // 复位开关，一按就回归出厂设置（嗯，其实是“一键还原”） input logic data_in, // 数据入口，想象成从外界输入的小秘密 output logic data_out // 数据出口，处理后的结果像变魔术一样输出 ) ; // 我们定义一个超级简易加密算法，其实就是加个暗号（1234567890）而已 function automatic logic simple_encrypt; input logic plain_text; // 明文数据，就像没穿马甲的信息 logic cipher_text; // 密文数据，穿上马甲后它摇身一变成了谜团 // 加密过程就是给明文加上我们的暗号 cipher_text = plain_text + 1234567890 ; // 然后把穿了马甲的数据返回出去 simple_encrypt = cipher_text; endfunction // 解密算法更简单，脱掉马甲就好了，也就是减去那个暗号 function automatic logic simple_decrypt; input logic cipher_text; // 拿到穿马甲的数据 logic plain_text; // 脱下马甲后的原样数据 // 解密过程就是把马甲（暗号）去掉 plain_text = cipher_text - 1234567890 ; // 原始数据现身！然后送给需要的人 simple_decrypt = plain_text; endfunction // 接下来是藏着加密后模型数据的秘密仓库 logic encrypted_model_data; // 这里要设计一个用于AI大模型运算的硬件模块 // 当然，这里只是举个栗子，真实情况肯定得根据模型量体裁衣 module ai_model ( input logic clk, input logic rst_n, input logic data_in, output logic data_out ) ; // 在这里插入复杂的硬件加速逻辑，比如卷积神经网络的电路实现 // 比如说我们已经有一台神奇的AI算力黑科技在默默工作... endmodule // 我们召唤出这个神秘的AI模型硬件实例 ai_model ai_model_inst ( .clk(clk), // 给它接上心跳时钟 .rst_n(rst_n), // 连接复位信号，随时准备重启江湖 .data_in(encrypted_model_data), // 输入的是加密过的数据 .data_out(data_out) // 输出解密后的结果 ) ; // 对输入数据进行加密打扮，让它变成"密码"形式 encrypted_model_data = simple_encrypt (data_in); // 下面是决定何时解密的剧情高潮部分 always @(posedge clk or negedge rst_n) begin if (!rst_n) begin // 当复位信号有效（低电平），上演一键解码大戏 data_out < = simple_decrypt (encrypted_model_data); end else begin // 平时嘛，直接输出加密后的数据（保持神秘感） data_out <= encrypted_model_data; end end // 结束这场FPGA与AI大模型的奇妙合作之旅 endmodule AI大模型安全方面还需要考虑到以下几个方面才能防止AI大模型被黑客病毒入侵控制： 1. 硬件安全模块（HSM）集成 FPGA与HSM的连接 ：在FPGA设计中集成硬件安全模块（HSM），该模块可以提供安全的存储、加密和解密服务。 安全密钥管理 ：使用HSM生成、存储和管理用于保护AI模型的加密密钥。 2. AI模型的安全封装 模型加密 ：在FPGA上部署AI模型之前，使用HSM中的密钥对模型进行加密。 解密与加载 ：在FPGA运行时，使用HSM解密模型，并将其加载到FPGA的专用内存区域中。 3. 通信接口的安全防护 加密通信 ：使用TLS/SSL或其他安全协议对FPGA与外部设备或网络的通信进行加密。 访问控制 ：实施严格的访问控制策略，限制对FPGA的访问权限。 4. 实时监控与检测 入侵检测系统 ：在FPGA上实现轻量级的入侵检测系统，用于检测潜在的攻击行为。 日志记录 ：记录所有关键操作和事件，以便后续分析和审计。 5. 固件更新与补丁管理 安全更新 ：通过安全的通道（如加密的OTA更新）向FPGA推送固件更新和补丁。 验证与完整性检查 ：在更新过程中验证固件的完整性和来源，防止恶意修改。 6. 物理防护 物理访问控制 ：限制对FPGA硬件的物理访问，防止直接攻击或篡改。 温度监控 ：监控FPGA的温度，防止因过热导致的性能下降或安全漏洞。 7. 代码开发与审查 安全编码实践 ：遵循安全编码最佳实践，减少软件层面的漏洞。 代码审查 ：定期进行代码审查和安全漏洞扫描，确保没有安全隐患。 注意事项： 安全权衡 ：在设计时需要考虑安全与性能的权衡，避免过度防护导致性能下降。 持续更新 ：随着安全威胁的不断演变，需要定期更新和升级安全防护措施。 多层次防护 ：采用多层次的安全防护策略，以提高整体安全性。 今天先写到这里... 上几篇： 【灵动 Mini-F5333开发板】+手把手带你玩转 CORDIC 坐标旋转算法 【灵动 Mini-F5333开发板】+(2)手把手带你玩转MindSwitch（MDS）可编程 IP互联模块 【灵动 Mini-F5333开发板】+(3)手把手带你玩转创意设计 【灵动 Mini-F5333开发板】+原创(3)连接上ChatGPT 【开源硬件小安派-Eyse-S1】+手把手玩转I2C总线 【开源硬件小安派-Eyse-S1】+（2）手把手玩转DAC 【开源硬件小安派-Eyse-S1】+原创（3）手把手玩转复杂项目 【开源硬件小安派-Eyse-S1】+原创（4）手把手玩转三组四自由度机械臂 本人在本论坛内的试读经验 : 《Proteus实战攻略》+7 第五章双足机器人仿真实例 希望这些心得体会能对您有所帮助！ 谢谢！ 还没吃饭中 2024年3月18日