标签: AI大模型

人形机器人与其他特定情形机器人 最大区别的就在于 应用场景的多元化 。 毕竟，人形机器人大规模落地就必须要做到 「通用性」 。 01、 2024，一日千里的人形机器人 虽然与2023年仅一“墙”之隔，但2024年走过不到4个月的人形机器人领域好似已过尽千帆。 去年底，业界还在感叹特斯拉人形机器人Optimus的进化之快，Optimus-Gen 2相比上一代在体重、运动能力、动作精细度等多维度均有大幅提升。今年初，Optimus-Gen 3已经再次自我革新。 日历翻到2024年，人形机器人行业可谓一日千里。 年初，在蔚来第二先进制造基地总装车间，身高接近1.7米，来自“人形机器人第一股”的优必选工业人形机器人Walker S正在进行实地“培训”，这也是全球首例人形机器人在汽车工厂流水线与人类协作完成汽车装配及质量检查作业。 而在大洋彼岸的美国，美国初创公司Figure也把其第一款人形机器人Figure 01送入宝马的斯巴坦堡汽车工厂打工，以期替代人类从事一些危险度高的工作。 这家刚于2月29日宣布从亚马逊创始人贝索斯、英伟达、OpenAI和微软等公司筹集约6.75亿美元资金的公司，在3月13日就飞速发布了一段视频“交卷”，展示了其Figure 01在OpenAI大模型加持下的“超能力”——能够与人类对话，并能理解、执行人类的指令和任务。 *动图源自网络 视频中的男士询问：「我能吃点东西吗？」 Figure 01回答：「当然！」然后抬起手，拿起一个苹果递给他。 要知道，这段视频是1.0倍原速拍摄，同时该机器人背后并没有人在远程操作，Figure 01是根据桌上的物品自己做出的判断，这充分展示了当前人形机器人和人类以及环境的交互能力。 这段视频瞬间震惊业界和大众的原因，也在于让人们深刻认识到大模型和真实物理世界的距离，已经越来越近。 正如OpenAI的产品与合作副总裁Peter Welinder所说，“我们想探索， 在高性能的多模态模型驱动下，人形机器人能实现什么样的目标。 ” 业界普遍有共识，伴随AI大模型如火如荼的发展，人形机器人企业早已不满足于仅展示人形机器人的行动能力，或者说不满足于“工具人”的身份，而是更迫切地卷起了人形机器人的“智商”。 人形机器人领域，也承载了获得“别人家的孩子”称赞的压力和焦虑。 AI大模型正在成为人形机器人商业化落地的关键，而人形机器人也是AI的重要应用场景之一。 这也是一众企业纷纷瞄准“具身智能”赛道，从各个维度切入人形机器人领域的原因。 02、 全球头部科技企业相继入局，元年开启？ 一一来看。 谷歌 发布新型机器人Transformer架构，通过动态分配计算资源，跳过非必要计算，提高训练效率和推理速度； 英伟达 发布人形机器人通用基础模型Project GR00T，旨在进一步推动其在机器人和具身智能方面的突破； Open AI 不仅为一家挪威人形机器人公司 1X Technologies 提供技术支持，还在与 Figure 合作，将其多模态模型扩展到机器人的感知、推理和交互中； 亚马逊 投资了美国机器人公司Agility Robotics，其人形机器人Digit已经在美国得克萨斯州的仓库搬运塑料箱； 除了前文提到的 优必选 ，还有自2023年2月成立以来，已拿下5轮融资的 智元机器人 ，并于去年8月，成功推出远征A1智元具身智能机器人，搭载自研的PowerFlow关节电机以及灵巧手SkillHand。 *图片来自IDC咨询 事实上除了各大科技公司外，汽车企业也已成为人形机器人领域的主力军。 从2021年到现在， 特斯拉 的人形机器人以每年一次的频率，稳定地刷着存在感； 小米 早在2022年就发布了Cyber One； 小鹏汽车 也于2023年发布其首款人形机器人PX5； 因此，很多人也将2024年定义为人形机器人的元年。但感光现象也在业界众多发声中看到一个更为理性的论调——如果要以创业公司，以及大公司参与到人形机器人赛道的规模去定义，2024年作为人形机器人元年是没有问题的。但如果以人形机器人的应用为标准，那这个元年的定义还有待商榷。 03 谁为人形机器人买单？ 汽车工厂，成为国内外主流人形机器人厂商最先落地的应用场景。 一方面，汽车工厂同时具备 规模大和标准化程度高 的特点，赋予人形机器人实训的条件； 另一方面汽车产业的自动驾驶、传感器等技术与人形机器人具有共通性， 车厂和人形机器人厂商的深度合作可以发挥二者的协同效应 ，因此汽车工厂为最先落地的应用场景，这也是为何一众汽车OEM跨赛道入局人形机器人领域的背后原因。 事实上，早在2021年的特斯拉AI Day上，马斯克就曾说：“我们几乎拥有制造人形机器人所需的所有零部件，因为我们已经制造了带轮子的机器人（特斯拉汽车）。” 特斯拉的人形机器人也将首先放在特斯拉汽车工厂应用，如前所述，优必选Walker S、Figure AI也是先后入驻蔚来和宝马的汽车工厂实训。 具体到汽车生产工序来看，人形机器人大概率应用于质检和汽车总装环节。 在汽车生产的四大车间中，冲压、焊接以及涂装的自动化率都已非常高，仅有质检返修等工作需要依赖人工，例如从之前发布的工厂实训视频中可以看出，优必选的Walker S先后检查完车门锁、安全带和车灯盖板后，走到车头前，极为轻柔地给新车贴上车标。 而总装环节需要完成安装非标零部件、车辆点检、路试等工作，自动化率仅有10%左右，对人工的依赖程度较高。此外，总装线布置密集度是所有车间中最高的，基本一条线隔着另一条线就两三米，所以想要布置更大、自动化率更高的机器非常难，因此未来总装环节自动化率的提升只有依靠人形机器人的导入。 当下，人形机器人落地行业应用看似已经完成从0到1的试水，但从1到100的规模化布局仍是挑战重重。 因此，尽管人形机器人展示了卓越的能力，但至今依然没有整机厂商宣布批量生产。这背后其实就是—— 成本问题和通用性问题。 这2大问题也直接限制了人形机器人的批量“进厂”和“入户”。 人形机器人的整机厂商多数认为，单机成本要控制在20万元人民币以内才能大规模生产，然而目前人形机器人数十万乃至百万级的价格难以打动终端用户采纳其产品。 同时，例如工业级人形机器人会需要有更高的灵活度，比如在汽车工厂里完成质检工作需要弯腰下蹲贴近汽车底盘，就这一类工作而言，人形机器人目前仍然无法取代人类； 其次，在家庭场景中的人形机器人虽然能够完成端茶送水等工作，但不能替代琐碎的家务劳动。 04、 场景通用是人形机器人的核心优势 这就需要软硬协同生态持续完善。 人形机器人与其他特定情形机器人的最大区别就在于 应用场景的多元化 。所以，人形机器人大规模落地就必须要做到 通用性 。 之前已经提及AI大模型正在成为人形机器人商业化落地的关键。只不过，虽然AIGC对人形机器人的发展至关重要，但AIGC不能帮人形机器人完成所有工作。 据悉，人形机器人完成工作需要解决4个维度的问题——逻辑关系、时序关系、空间关系和互动关系。 而AI大模型仅能解决逻辑关系的问题 ，人形机器人可以根据语言命令分析问题和做好任务规划，但是对于机器人怎么抓物品、移动速度多快、如何定位目标等，AI大模型将爱莫能助。 *图片来自IDC咨询 像关节和灵巧手都是人形机器人机械本体进化的重要部件。 作为人形机器人的内部传感器，位置传感器多用于测量人形机器人的自身状态，比如让机器人感知自身运动状态，帮助其按照规定的位置、轨迹等参数运动，几乎机器人每个关节都会使用2个或多个位置传感器。 艾迈斯欧司朗的磁性位置传感器具备的对外部磁场几近“免疫”的能力，成为其“入主”高性能应用的核心优势。 此外，人形机器人由于其复杂的交互性，需要多传感融合，比如，精准紧凑的飞行时间距离测量传感器(1/2/3D)、激光雷达系统（EEL和VCSEL）、用于泛光照明和点阵照明的照明器、在近红外光谱中支持3D主动立体视觉和结构光（路径扫描传感器、人脸识别、物体避让）解决方案的高性能图像传感器……，它们都将使人形机器人更加智能、使用更加便捷，并在无防护区域提供更安全的人机交互界面，而在这些细分领域，艾迈斯欧司朗都布局深远。 艾迈斯欧司朗人形机器人系列方案 如今，具身智能被认为是未来大模型的最佳落地场景，人形机器人——这个赛博朋克式的人类终极幻想，正使得具身智能的设想变得更加具象。 同时，人形机器人正在真正开启与AI的融合发展，建立在机械本体数十年不断进化的基础上，这个进程只会加速。 据国际机器人协会预测，2021年至2030年，全球人形机器人市场规模年复合增长率将高达71%。中国电子学会数据显示，到2030年，我国人形机器人市场规模有望达到8700亿元。

在设计防止AI大模型被黑客病毒入侵时，需要考虑到复杂的加密和解密算法以及模型的实现细节，首先需要了解模型的结构和实现细节。 以下是我使用Python和TensorFlow 2.x实现深度学习模型推理的模型的结构和实现细节： 首先，确保安装了TensorFlow 2.x。可以使用以下命令安装TensorFlow： pip install tensorflow 然后，编写一个简单的深度学习模型并实现推理代码，我现在开始编写一段教电脑如何“深度思考”的代码。想象你正在训练一只名叫 tf.keras 的小猴子玩多层迷宫游戏： import tensorflow as tf # 教小猴子搭建迷宫：先是一间有64个门、打开方式都是用力推的房间（激活函数为relu） # 然后是一排10扇自动分类门（激活函数为softmax） def create_model (): model = tf.keras.models.Sequential( ) # 给小猴子安排一位私人教练（adam优化器）和一套评分规则（损失函数和准确率指标） model. compile (optimizer= 'adam' , loss= 'sparse_categorical_crossentropy' , metrics= ) # 训练完毕，把这只懂迷宫玩法的小猴子送出来 return model # 把刚刚训练好的小猴子领回家 model = create_model() # 给小猴子一些线索（输入数据），让它预测出口在哪 input_data = ] # 小猴子开始在脑海里模拟走迷宫，给出预测结果 predictions = model.predict(input_data) # 打印出小猴子对出口的预测：“我觉得是这里！” print ( 'Predictions:' , predictions) 【AI大模型远程控制启动车辆1（原创）】 https://www.bilibili.com/video/BV1yu4m1M7ZS/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 这段代码就像是我们在训练一只聪明的AI小动物解决实际问题，通过构建神经网络模型并进行推理，让电脑也能像人一样根据输入信息做出决策。 在上述示例中，我创建了一个简单的深度学习模型，该模型具有两个全连接层。然后，加载了该模型并为其提供了输入数据。最后，我运行了模型的推理，并输出了预测结果。此外，还需要考虑其他因素，如模型的优化器、损失函数和评估指标等。 为了防止AI大模型被黑客病毒入侵控制，通常可以采取以下措施： 数据加密 ：对模型的数据进行加密，包括训练数据和模型参数，以防止数据在传输或存储过程中被窃取或篡改。使用安全的编程实践，如输入验证、输出编码和错误处理。 访问控制 ：设置严格的访问控制机制，只允许授权的人员或系统访问模型。对模型进行安全加固，例如限制模型的访问权限、使用防火墙等。 安全评估 ：定期进行安全评估和漏洞扫描，发现并修复潜在的安全漏洞。定期更新模型和相关软件，以修复已知的安全漏洞。 模型监控 ：实时监控模型的输入和输出，检测异常行为或异常数据，及时采取措施防止入侵。对模型进行监控，以便及时发现异常行为。 员工培训 ：培训开发和使用模型的人员，提高他们的安全意识，避免人为因素导致的安全风险。 【AI大模型远程控制启动车辆3（原创）】 https://www.bilibili.com/video/BV1UJ4m1b7s7/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 以下是我编写的一个简单的Python代码，用于防止AI大模型被黑客病毒入侵控制： import os # 这是咱的“大管家”，专门负责家里（系统）的各种琐事，比如找个文件、开个窗户什么的。 import sys # 哎呀，这位是“掌门人”，掌管着整个剧本（程序）的运行环境和江湖地位（参数列表）。 import time # 时间君闪亮登场！它能帮你精确到秒地数钱，哦不对，是计时。 from watchdog.observers import Observer # 嘿嘿，这是我们的“看门狗”监视器，24小时不眨眼盯着文件夹的变化，比小区保安还尽职。 from watchdog.events import FileSystemEventHandler # 这位是“事件处理大师”，专门研究文件系统的风吹草动，一旦有情况，立刻汇报！ class ModelSecurityHandler ( FileSystemEventHandler ): # 这是个守护模型安全的“保镖类”，它的任务就是保护咱们的AI模型。 def on_modified ( self, event ): # 如果有人对模型文件动手脚，触发了"on_modified"这个技能（方法）。 if event.src_path.endswith( '.model' ): # 检查是不是模型文件被改了，就像检查是不是自家宝贝被摸了一样。 print ( f"检测到模型文件 {event.src_path} 被修改，正在恢复..." ) # 发现问题就马上喊话：“喂喂喂，谁动了我的奶酪？现在开始复原！” restore_model(event.src_path) # 然后赶紧调用“还原大法”，把模型恢复原状。 def restore_model ( model_path ): # 这是“还原大法”的具体实现，但目前还是空壳子，暂时假装在执行神秘操作... pass def main (): # 进入主战场啦！ path = sys.argv if len 1 else '.' # 主角出场前先定个舞台（路径），如果观众（用户）指定了位置，就去那里；没指定，默认就在当前目录表演。 event_handler = ModelSecurityHandler() # 创建一个“保镖”角色。 observer = Observer() # 再召唤出一只“看门狗”。 observer.schedule(event_handler, path, recursive= True ) # 给“看门狗”安排任务，让它带着“保镖”全方位无死角盯着目标路径下的所有动静。 observer.start() # “看门狗”上岗啦！ try : while True : # 主角在此陷入死循环，每过一秒都要打个盹儿（sleep）。 time.sleep( 1 ) except KeyboardInterrupt: # 唯一能让主角从梦中醒来的，只有观众按下退出键这招“狮吼功”。 observer.stop() # 接到信号，“看门狗”停止巡逻。 observer.join() # 最后，“看门狗”完成使命，与主角一同退场。 if __name__ == "__main__" : # 当整部剧由自己独立演出时，启动剧情主线！ main() # 开始行动吧！ 下面是不带我讲解的纯净版： import os import sys import time from watchdog.observers import Observer from watchdog.events import FileSystemEventHandler class ModelSecurityHandler ( FileSystemEventHandler ): def on_modified ( self, event ): if event.src_path.endswith( '.model' ): print ( f"检测到模型文件 {event.src_path} 被修改，正在恢复..." ) restore_model(event.src_path) def restore_model ( model_path ): # 在这里添加恢复模型的代码 pass def main (): path = sys.argv if len 1 else '.' event_handler = ModelSecurityHandler() observer = Observer() observer.schedule(event_handler, path, recursive= True ) observer.start() try : while True : time.sleep( 1 ) except KeyboardInterrupt: observer.stop() observer.join() if __name__ == "__main__" : main() 这个代码使用了 watchdog 库来监控模型文件的变化。当检测到模型文件被修改时，会调用 restore_model 函数来恢复模型。使用时需要在 restore_model 函数中添加实际的恢复模型的代码。 【AI大模型远程控制启动车辆2（原创）】 https://www.bilibili.com/video/BV11m411R7ya/?share_source=copy_web&vd_source=b5b305bec6cbccdfdaee2cf57cf341bc 在设计防止AI大模型被黑客病毒入侵的代码时，需要考虑更复杂的加密和解密算法以及模型的实现。下面我将写一个更复杂的防护措施： import os import sys import hashlib # 这位是“密码学大师hashlib”，专攻数据指纹鉴定，让你的数据独一无二。 import cryptography # “cryptography”可是安全界的重量级人物，负责各类加密解密大戏。 from cryptography.fernet import Fernet # 引入Fernet这位神秘特工，他掌管着高级加密技术，让数据变身成为秘密情报。 # 我们先定义个简单加密方法（其实就是个玩笑，实际中得用更厉害的招数） def simple_encrypt ( data ): key = Fernet.generate_key() # 特工Fernet生成一把独门密钥 cipher_suite = Fernet(key) # 拿着密钥启动加密设备 cipher_text = cipher_suite.encrypt(data.encode()) # 把明文数据变成加密后的摩斯密码 return cipher_text # 返回这串神秘代码 # 然后定义一个简单的解密方法（同样只是示例，真实情况会复杂得多） def simple_decrypt ( cipher_text ): key = Fernet.generate_key() # 又生成一把新密钥（这里演示不对，实际要使用同一把密钥） cipher_suite = Fernet(key) # 再次启动解密设备 plain_text = cipher_suite.decrypt(cipher_text) # 将加密信息破解回原始内容 return plain_text # 原始数据又回来啦！ --剧情高潮-- # 接下来，主角出场！AI模型大侠的源文件名是'ai_model.bin' model_file = 'ai_model.bin' with open (model_file, 'rb' ) as f: # 打开宝箱读取模型秘籍 model_data = f.read() # 把秘籍内容全盘接收 # 对秘籍进行加密，藏起来 encrypted_model_data = simple_encrypt(model_data) # 写入加密后的秘籍副本《加密版ai_model.bin》 encrypted_model_file = 'encrypted_ai_model.bin' with open (encrypted_model_file, 'wb' ) as f: f.write(encrypted_model_data) # 秘籍存好，妥妥的 --进入日常环节-- # 加载秘籍前先解密，就像每次练功前先解锁秘籍一样 def load_ai_model (): global model_data # 全球公告：我要用到这个变量了 with open (encrypted_model_file, 'rb' ) as f: # 打开加密秘籍 cipher_text = f.read() # 把加密内容拿过来 model_data = simple_decrypt(cipher_text) # 解密，还原成真经 # 在退出程序时，记得再次加密并保存秘籍，防止被偷窥 def save_ai_model (): global model_data # 同样全球公告一下 encrypted_model_data = simple_encrypt(model_data) # 先加密 with open (encrypted_model_file, 'wb' ) as f: f.write(encrypted_model_data) # 再次将加密后的秘籍封存 # 开始修炼！加载秘籍 load_ai_model() # 安排在剧终时自动加密保存秘籍 atexit.register(save_ai_model) # 使用AI大侠开始预测（此处纯属虚构，真实情况请结合具体模型施展神通） def predict ( data ): # 在这里我们已经实现了一个神奇的深度学习推理过程... # 练习一次预测功夫 predict(model_data) 防止 AI 大模型被黑客病毒入侵控制需要综合考虑多个方面的安全措施。由于具体的实现会因模型的特点，应用场景和安全需求会有所不同。我会帮助客户构建安全的 AI 大模型。上面的只是一些基本的安全措施，在实际中我可以利用eFPGA芯片对上述的功能进行加速，下面我编写一个加速代码： // 这是一个用FPGA搭建的AI大模型安全防护系统 module ai_model_protection ( input logic clk, // 好比是AI心脏的脉搏时钟，保证一切动作有节奏地跳动 input logic rst_n, // 复位开关，一按就回归出厂设置（嗯，其实是“一键还原”） input logic data_in, // 数据入口，想象成从外界输入的小秘密 output logic data_out // 数据出口，处理后的结果像变魔术一样输出 ) ; // 我们定义一个超级简易加密算法，其实就是加个暗号（1234567890）而已 function automatic logic simple_encrypt; input logic plain_text; // 明文数据，就像没穿马甲的信息 logic cipher_text; // 密文数据，穿上马甲后它摇身一变成了谜团 // 加密过程就是给明文加上我们的暗号 cipher_text = plain_text + 1234567890 ; // 然后把穿了马甲的数据返回出去 simple_encrypt = cipher_text; endfunction // 解密算法更简单，脱掉马甲就好了，也就是减去那个暗号 function automatic logic simple_decrypt; input logic cipher_text; // 拿到穿马甲的数据 logic plain_text; // 脱下马甲后的原样数据 // 解密过程就是把马甲（暗号）去掉 plain_text = cipher_text - 1234567890 ; // 原始数据现身！然后送给需要的人 simple_decrypt = plain_text; endfunction // 接下来是藏着加密后模型数据的秘密仓库 logic encrypted_model_data; // 这里要设计一个用于AI大模型运算的硬件模块 // 当然，这里只是举个栗子，真实情况肯定得根据模型量体裁衣 module ai_model ( input logic clk, input logic rst_n, input logic data_in, output logic data_out ) ; // 在这里插入复杂的硬件加速逻辑，比如卷积神经网络的电路实现 // 比如说我们已经有一台神奇的AI算力黑科技在默默工作... endmodule // 我们召唤出这个神秘的AI模型硬件实例 ai_model ai_model_inst ( .clk(clk), // 给它接上心跳时钟 .rst_n(rst_n), // 连接复位信号，随时准备重启江湖 .data_in(encrypted_model_data), // 输入的是加密过的数据 .data_out(data_out) // 输出解密后的结果 ) ; // 对输入数据进行加密打扮，让它变成"密码"形式 encrypted_model_data = simple_encrypt (data_in); // 下面是决定何时解密的剧情高潮部分 always @(posedge clk or negedge rst_n) begin if (!rst_n) begin // 当复位信号有效（低电平），上演一键解码大戏 data_out < = simple_decrypt (encrypted_model_data); end else begin // 平时嘛，直接输出加密后的数据（保持神秘感） data_out <= encrypted_model_data; end end // 结束这场FPGA与AI大模型的奇妙合作之旅 endmodule AI大模型安全方面还需要考虑到以下几个方面才能防止AI大模型被黑客病毒入侵控制： 1. 硬件安全模块（HSM）集成 FPGA与HSM的连接 ：在FPGA设计中集成硬件安全模块（HSM），该模块可以提供安全的存储、加密和解密服务。 安全密钥管理 ：使用HSM生成、存储和管理用于保护AI模型的加密密钥。 2. AI模型的安全封装 模型加密 ：在FPGA上部署AI模型之前，使用HSM中的密钥对模型进行加密。 解密与加载 ：在FPGA运行时，使用HSM解密模型，并将其加载到FPGA的专用内存区域中。 3. 通信接口的安全防护 加密通信 ：使用TLS/SSL或其他安全协议对FPGA与外部设备或网络的通信进行加密。 访问控制 ：实施严格的访问控制策略，限制对FPGA的访问权限。 4. 实时监控与检测 入侵检测系统 ：在FPGA上实现轻量级的入侵检测系统，用于检测潜在的攻击行为。 日志记录 ：记录所有关键操作和事件，以便后续分析和审计。 5. 固件更新与补丁管理 安全更新 ：通过安全的通道（如加密的OTA更新）向FPGA推送固件更新和补丁。 验证与完整性检查 ：在更新过程中验证固件的完整性和来源，防止恶意修改。 6. 物理防护 物理访问控制 ：限制对FPGA硬件的物理访问，防止直接攻击或篡改。 温度监控 ：监控FPGA的温度，防止因过热导致的性能下降或安全漏洞。 7. 代码开发与审查 安全编码实践 ：遵循安全编码最佳实践，减少软件层面的漏洞。 代码审查 ：定期进行代码审查和安全漏洞扫描，确保没有安全隐患。 注意事项： 安全权衡 ：在设计时需要考虑安全与性能的权衡，避免过度防护导致性能下降。 持续更新 ：随着安全威胁的不断演变，需要定期更新和升级安全防护措施。 多层次防护 ：采用多层次的安全防护策略，以提高整体安全性。 今天先写到这里... 上几篇： 【灵动 Mini-F5333开发板】+手把手带你玩转 CORDIC 坐标旋转算法 【灵动 Mini-F5333开发板】+(2)手把手带你玩转MindSwitch（MDS）可编程 IP互联模块 【灵动 Mini-F5333开发板】+(3)手把手带你玩转创意设计 【灵动 Mini-F5333开发板】+原创(3)连接上ChatGPT 【开源硬件小安派-Eyse-S1】+手把手玩转I2C总线 【开源硬件小安派-Eyse-S1】+（2）手把手玩转DAC 【开源硬件小安派-Eyse-S1】+原创（3）手把手玩转复杂项目 【开源硬件小安派-Eyse-S1】+原创（4）手把手玩转三组四自由度机械臂 本人在本论坛内的试读经验 : 《Proteus实战攻略》+7 第五章双足机器人仿真实例 希望这些心得体会能对您有所帮助！ 谢谢！ 还没吃饭中 2024年3月18日