tag 标签: chatGPT

相关帖子
相关博文
  • 热度 2
    2024-2-5 11:35
    995 次阅读|
    0 个评论
    《从概念到现实ChatGPT和Midjourney》读后感+AI绘画尝试
    1. 读后感 感谢面包板社区的书籍试读活动,可以感受《从概念到现实ChatGPT和Midjourney》的图书魅力。 《从概念到现实ChatGPT和Midjourney的设计之旅》是一本很有价值的AIGC(人工智能生成内容)指南书。通过阅读本书,插画设计师、UI和UX设计师、游戏设计师、电商设计师、文创设计师、服装设计师、家居建筑设计师、工业设计师及相关设计人员可以更好地理解AI工具的工作原理,并更加灵活地加以运用。 该书从零开始,手把手地教读者玩转ChatGPT和Midjourney。作者通过8个领域,近60个案例讲解演示,生动展示了各行各业中融入AIGC技术的设计成果,为设计师提供了更开阔的设计思路。同时,书中还有很多实用的技巧和建议,可以帮助设计师更快地掌握相关技术。对于不熟悉AI技术的设计师来说,这将是一本很有价值的指南书。通过阅读本书,插画设计师、UI和UX设计师、游戏设计师、电商设计师、文创设计师、服装设计师、家居建筑设计师、工业设计师及相关设计人员可以更好地理解AI工具的工作原理,并更加灵活地加以运用。读者通过阅读该书,可以借助ChatGPT和Midjourney够轻松掌握生图技巧,创造出独特的艺术作品。 同时,该书又以高屋建瓴的角度穿插讲述诸如AIGC、Prompt、风格、技术细节、多模态交互等概念和技术,详细介绍了生成高质量图像的关键词技巧,并给出了大量的共通性参考关键词,可以使读者对AI绘画有更清晰的认识,让读者可以快速生成符合自己要求或者预期的AI绘画。即便是对零AI绘画基础的读者来讲,参考该书也能step-by-step生成超出预期的AI绘画。 “君子生非异也,善假于物也”,借用作者的一句话来总结,《从概念到现实ChatGPT和Midjourney的设计之旅》是为设计而生的AI书。 2. 书籍简介 2.1 购买链接 京东购买: * * 点击这里 ** 2.2 书籍简介 本书详细介绍了ChatGPT与Midjourney的使用方法和应用场景,并结合设计案例讲解了如何利用AIGC辅助不同行业的设计师提升工作效率和创造力,共涉及8个应用领域,近60个案例演示,生动展示了各行各业中融入AIGC技术的设计成果,为设计师提供了更开阔的设计思路。同时,书中还有很多实用的技巧和建议,可以帮助设计师更快地掌握相关技术。对于不熟悉AI技术的设计师来说,这将是一本很有价值的指南书。通过阅读本书,插画设计师、UI和UX设计师、游戏设计师、电商设计师、文创设计师、服装设计师、家居建筑设计师、工业设计师及相关设计人员可以更好地理解AI工具的工作原理,并更加灵活地加以运用。 本书不仅适合对设计充满热情的专业人士,还适合广大热爱设计艺术的读者。 愿我们共同开启这段关于AI与设计的奇妙旅程,探索无限的创作空间! 2.3 应用技巧 本书介绍了多个领域的应用技巧,核心技巧是按照下述句式来构思自己的画面:主题、风格、环境、照明、颜色、情绪、构图、图像设定等。 序号 项目 说明 1 主题 场景主题的人或物再做什么,描述得越详细越好。 2 风格 3D、插画、摄影、国风、漫画、赛博朋克、微距摄影、美式漫画、迪士尼风格等,可以继续更详细地描述某一个细分的风格。 3 环境 室内、室外、月球、水下、太空等,还可以更详细地描述环境内的元素,例如有陨石坑和宇宙飞船的月球。 4 照明 柔和、阴天、霓虹嗯、摄影棚灯灯,还可以描述一些专业术语,例如伦勃朗光、顺光、逆光、侧光等。 5 颜色 鲜艳、柔和、明亮、单色、多彩、黑白等,还可以单独描述一种颜色或抽象的色彩比喻,比如马卡龙色等。 6 情绪(可选) 冷静、平和、喧闹、可爱、充满活力等。 7 构图 肖像、头像、特写、鸟瞰图等。在摄影风格中,也可以添加景深、全景、微距、长焦、广角、卫星图像、佳能5D 85mm等。 8 图像设定 质量(高细节、高分辨率、2K、4K、8K等)、尺寸、比例等。 2.4 书籍目录 书籍目录如下: 1 欢迎来到ChatGPT的世界 1.1 ChatGPT的概述 1.2 AIGC对设计行业的影响 1.3 ChatGPT的文字提示 2 欢迎来到Midjourney的世界 2.1 初识Midjourney 2.1.1  Midjourney与Discord 2.1.2  添加Midjourney Bot到私人服务器 2.1.3  Midjourney 操作流程 2.2 Midjourney 的指令 2.2.1  /settings设置指令 2.2.2  /imagine文生图指令 2.2.3  /blend图片混合指令 2.2.4  /describe图生文指令——图片反推提示语 2.2.5  /shorten缩短指令——精简提示语 2.2.6  指令总汇 2.3 Midjourney的Prompt(提示语) 2.4 Midjourney的后缀参数 2.5 niji·journey的二次元世界 2.5.1  添加niji·journey Bot到私人服务器 2.5.2  niji·journey的风格 2.6 官方推荐Prompt 2.6.1  艺术形式 2.6.2  表情 2.6.3  场景 2.6.4  色彩 2.6.5  时代 2.6.6  其他常用Prompt 推荐 3 ChatGPT 和Midjourney的使用技巧 3.1 ChatGPT和 Midjourney结合应用 3.1.1  使用ChatGPT充当翻译 3.1.2  使用ChatGPT直接生成Prompt 3.1.3  图生图+ 垫图 3.1.4  图生文+ 垫图 3.2 Midjourney的使用技巧 3.2.1  生成三视图 3.2.2  使用Midjourney自定义参数存储人物模型 4 使用ChatGPT和Midjourney提升插画设计效率 4.1 插画设计中ChatGPT和Midjourney的应用技巧 4.2 不同风格的插画设计 4.3 不同主题的插画设计 4.3.1  节日主题——春节舞狮 4.3.2  季节主题——冬季雪屋 4.3.3  场景主题——夏日印象 4.4 儿童绘本插画创作 4.4.1  儿童绘本的特点 4.4.2  儿童绘本插画设计的类型 4.4.3  利用ChatGPT和Midjourney进行儿童绘本插画设计 4.5 漫画创作 4.5.1  漫画设计的风格 4.5.2  利用ChatGPT和Midjourney进行漫画设计    5 使用ChatGPT和Midjourney提升UI和UX设计效率 5.1 ChatGPT和Midjourney在UI 和UX 设计中的运用 5.2 利用ChatGPT做UI 设计前期分析调研 5.2.1  利用ChatGPT进行用户分析 5.2.2  利用ChatGPT进行竞品分析 5.3 Midjourney生成图标设计案例 5.3.1  生成App 启动图标 5.3.2  生成写实风格图标 5.3.3  生成App直播礼物图标 5.3.4  生成商务毛玻璃风格文件夹图标 5.4 移动端界面设计灵感 5.4.1  生成植物类App界面 5.4.2  生成App运营弹窗 5.4.3  生成App Banner——五一出游 5.5 车载HMI设计灵感   6 使用ChatGPT和Midjourney提升游戏设计效率 6.1 ChatGPT和Midjourney辅助游戏设计 6.2 游戏角色设计 6.2.1  苍老的战士 6.2.2  精灵射手 6.2.3  暗黑女巫 6.2.4  深海妖怪 6.2.5  森林怪物 6.3 游戏场景设计 6.3.1  赛博朋克风格 6.3.2  魔幻中世纪 6.3.3  卡通轻材质 6.3.4  2.5D侧轴场景 6.4 游戏元素设计 6.4.1  武器设计——风暴枪 6.4.2  坐骑设计——飞龙 6.4.3  游戏装备设计——黄金铠甲 6.5 游戏UI组件设计    7 使用ChatGPT和Midjourney提升平面和电商设计效率 7.1  ChatGPT结合Midjourney进行平面和电商设计的流程 7.2 Logo设计 7.2.1  字母变形Logo 7.2.2  动物形态Logo 7.2.3  人物头像Logo 7.3 海报设计 7.3.1  电影海报 7.3.2  产品海报 7.3.3  活动海报 7.4 包装设计 7.4.1  月饼盒包装 7.4.2  酒瓶包装    8 使用ChatGPT和Midjourney提升文创设计效率 8.1 潮玩盲盒的特点与用途 8.2 潮玩盲盒的风格 8.3 利用ChatGPT和Midjourney进行IP潮玩设计 8.4 利用Midjourney快速批量化设计一套少女风格IP潮玩 9 使用ChatGPT和 Midjourney提升服装设计效率 9.1 服装设计中ChatGPT和Midjourney的应用技巧 9.1.1  蕾丝吊带裙 9.1.2  皮草大衣 9.1.3  方格图案西服 9.1.4  薄纱浪漫礼服 9.1.5  洁白长尾拖地婚纱 9.2 从草图到真人模特穿衣效果 9.3 AI 生成模特穿衣效果   10 使用ChatGPT和Midjourney提升家居建筑设计效率 10.1 建筑概念设计 10.1.1  博物馆 10.1.2  别墅 10.2 室内装修设计 10.3 家具设计 10.3.1  椅子 10.3.2  桌子 10.3.3  沙发 10.4 门店设计 10.5 快闪店设计   11 使用ChatGPT和Midjourney提升工业设计效率 11.1 汽车 11.2 摩托车 11.3 咖啡机 11.4 玩具 11.5 其他    附 录 3. AI绘画尝试 此处借助书中的案例,尝试了几种绘图设计。 3.1 场景构图 提示语: 主题内容: 绘制可爱的3D小女孩快乐地跳跃玩耍。 场景环境: 背景是游乐场,游乐设施,摩天轮,过山车,糖果派对(例如糖果、蛋糕,糖果屋等) 色彩: 柔和的渐变色,粉色,黄色,蓝色,紫色。 构图镜头: 背景焦距未35毫米,光圈为1.8。 广超: 自然照明。 参考风格: 迪士尼风格和泡泡马特玩具。 Full body 3D artwork of cute little girl, happy little girl jumping, play-ground in background, amusement facilities, ferris wheel, roller coaster, the candy party, such as candy, cake, candy house, pastel gradients, pink, yellow, blue, purple, the focal length of the background is 35mm f1.8, Natural lighting, C4D, OC render, disney, pop mart toy, 8K --ar 5:8 --s 750 --v 5.1 --style raw. 效果图: 3.2 草图设计 提示语: 主题内容: 建筑设计图片。 场景环境: 建筑设计分析,爆炸图。 构图: 文字标注,设计逻辑合理。 参考风格: 用料考究,细节丰富,饱和度低。 Architectural design pictures, architectural design analysis, explosion drawings, test annotations, reasonable design logic, exquisite materials, rich details, low saturation. 效果图: 3.3 UI设计 提示语: UI/UX, HMI, car user interface design, clean, clear, aiy, light, simple, front view, tech-fashion, experience, high accuracy of data display and controls, precision machinery system, autonomous vehicles, air conditioning system UI, temperature controls, precision machinery system, autonomous vehicles, air conditioning system UI, temperature control UI, dribbble,behance, --ar 4:3. 效果图: //------end
  • 热度 4
    2023-9-29 15:22
    1408 次阅读|
    2 个评论
    《人人都是提示工程师》是一本关于如何设计和优化提示以提升AI模型性能和用户体验的书。这本书由陈明明和李腾龙所著,由人民邮电出版社于2023年出版。 深入的背景介绍让人由浅入深,随着人工智能技术的不断发展,提示工程技术的重要性逐渐凸显。提示工程是指通过设计提示,使AI模型能够更好地理解和回答用户提出的问题或需求。好的提示能够帮助模型更好地理解用户的意图,并生成准确的回答;相反,不好的提示可能导致模型误解用户的问题或产生不准确的回答,从而影响用户体验。因此,如何设计和优化提示成为了一个亟待解决的问题。《人人都是提示工程师》正是针对这个问题,为读者提供了实用的解决方案。 实用性超强,这本书不仅深入的探讨了理论基础,而且通过大量的实例和案例,详细地介绍了如何设计和优化提示。书中首先介绍了提示设计需要考虑的因素,包括用户意图、上下文信息、语言风格等。接着,通过分析大量的实例和案例,介绍了如何利用提示工程技术提高模型的回答准确率、提高用户体验、降低模型成本等。这些内容不仅实用,而且非常容易理解,即使是初学者也能够轻松掌握。反面错误教材让人深思,本书介绍了如何避免常见的提示错误。这些错误包括语义不清晰、逻辑不严谨、冗余信息过多等,通过分析这些错误产生的原因和影响,书中提供了相应的解决方案,帮助读者避免在设计和优化提示时出现类似的问题。这部分内容的实用性非常强,对于读者来说具有很高的参考价值。 为了帮助读者更好地理解和应用书中的内容,本书还提供了许多实用的技巧和建议。例如,书中强调了提示设计的原则——简单、明确、一致。这些原则能够帮助读者更好地设计提示,并避免一些常见的问题。此外,书中还介绍了如何利用自然语言处理技术优化提示、如何测试和评估提示效果等技巧,这些技巧不仅能够帮助读者提高模型的性能和用户体验,而且还能降低模型的成本。 清晰的行文结构,由理论到实践,环环相扣。全书共分为九个章节,第一章介绍了提示工程技术的背景和基本工作原理,第二章到第四章则分别介绍了由简入繁的工作模式和重要的语言处理基础,后面章节则是重点的应用实践。这种结构使得读者可以轻松地了解全书的内容和结构,并根据自己的需求选择相应的章节进行阅读和学习。 总的来说,《人人都是提示工程师》是一本非常实用的书。它不仅介绍了提示工程技术的概念和技巧,还提供了大量的实用案例,帮助读者更好地了解如何利用提示工程技术提高AI模型的性能和用户体验。这本书的写作风格简洁明了,内容实用,结构清晰,非常适合对提示工程感兴趣的读者阅读。 读完这本书后,我深刻认识到提示工程的重要性,并掌握了如何优化提示以提高模型的回答准确率和用户体验的方式方法。作为一个新型的职业——提示工程师,也必将在历史的舞台大放异彩。有人说过以后百分之90的工作都会被AI取代,依托于深度学习的大数据,我们不能否认技术的发展,但是依然相信可以跟上社会的洪流。
  • 热度 8
    2023-8-13 10:31
    1420 次阅读|
    0 个评论
    随着前段时间ChatGPT的发布,但凡跟智能沾边的书籍、课程,如雨后春笋般都冒了出来。 我想,这么先进的技术,作为一个技术人也不能冷眼旁观呀。总要躬身入局 , 亲自感受 了解 一番。 看到这本书 在评测 就申请了 , 收到货已经有两周多了, 但是拿到书的当天,翻看目录,我就有点头大。 是不是像极了我们的课本的目录? 而且 书的开本是 16开的 , 这就更像一本课本了。 翻看 里面的内容 ,满满的文字,拗口的人名,太多之前听过但是并不了解的概念和名词。 导致 我 看这本书的时候, 一度 有好几次看着看着就睡着了。 如果能对这个行业和相关的概念有一定的认知,或许再来看这本书就不会这么枯燥了,总之,个人感觉要能看得进去这本书,并且连接作者想要表达的意思,是需要一定知识积累和门槛的,这不是一本通俗的大众读物,而是感觉有点近似学术报告的文章了,当然书中也讲了好多现实当中的例子,帮助读者进一步理解这消化哪些晦涩难懂的概念。 总算利用这个周末 , 把这本书从头到尾过了一遍。 谈到人工智能,就不得不提到一个人 , 叫图灵。 1937年,图灵提出了一个图灵机的概念 , 所谓的图灵机并不是由齿轮或者晶体管构成的物理结构。相反,它是一个抽象的计算思想,它是一种可以实现任何计算函数的理想系统的数学描述。是一种定义了基本计算过程的计算模型,理论上可以用来模拟任何的算法逻辑。 我之前看过一部电影,名字叫《模仿游戏》,里面的主人公就是图灵,他设计了一个叫做图灵机的机器,破解了二战时期德军的作战密码,从而扭转了战局,电影很不错,感兴趣的小伙伴可以找来看看。因为那部电影的缘故,我一直以为图灵机是一个机器,现在看书有了新的认识。 在1950年 , 图灵又提出了 一个叫“ 模仿游戏 ” 的测试,以确定计算机是否能够思考。如果一台机器能够进行一场与人类无法区分的对话,那么我们将认为这台计算机是智能的。这种测试方式后来也称之为图灵测试。 学习的每个方面或智能的任何特征,原则上都可以被精确的描述,所以就可以制造一台机器来模拟它。 用 符号方法是尝试构建智能机器的第一步 , 基于这样一个观点,构建智能机器的过程是可以被精确描述的,因此它侧重于解决 具有 描述步骤的任务。如果我们能够精确的描述智能的过程,那么就可以设计一套规则,由计算机来模拟它们。 而 机器学习不是为机器提供一套明确的规则,告诉他在每种情况下该做什么,而是为机器提供一套隐含规则,使他能够学习在各种情况下应该做什么 , 学习能力也是智能的标志。 在这个学习过程中,存在两种方式,分别是监督学习和无监督学习。 监督学习是一种更直接的提供反馈的方法 ,通过人为的方式,对系统的结果进行调整。 在无监督学习中,系统从其工作的数据中获得反馈,而没有任何明确的人类反馈, 这显然更符合人类期望的智能的概念。 但是,这种无监督的学习,也是由人来设计出框架来实现的, 机器学习是统计学和人工智能的结合。 计算机强大的存储和无所不知的能力,让刚接触他的人感觉神奇,如果用计算机来模拟人脑的计算,不就可以让计算机达到智能的效果了吗?这很难吗? 是的,这非常不容易,单从算力来讲,计算机与人脑就无法匹敌。 人脑的计算能力 , 相当于每秒 10 18 次 计算 , 如果用一台电脑来模拟人脑的计算速度。世界上已知最快的超级计算机 , 神威 · 太湖之光可以达到约93 ×10 15 。 其运算速度 不到整个人脑运算速度的1%。 如果再来计算运行同样速度的前提下,消耗的功耗,那恰恰是相反的结果,人脑的计算值消耗了极少的能量,而神威·太湖之光, 包括40个运算机柜和8个网络机柜,每个运算机柜由4组32块运算插件组成,共安装了40960个自主研发的“申威26010”众核处理器。 大脑不仅仅是一个静态的结构,而是一个随时间变化的复杂的动态系统。即使在成熟之后,仍然能够适应它所接收到的输入中发生的巨大变化。 2016年3月击败了世界上最好的围棋选手李世石的AlphaGo ,虽然引起了不小的轰动, 但是AlphaGo运行在1920个标准处理器和280个图形处理单元上 , 分布在多个数据中心内。而李世石却只用了大脑。 目前的人工智能很大程度上来自设计者的聪明设计,而要实现通用人工智能,就需要找到一种方法来复制这种代表性的创造力。但迄今为止,这种创造力一直依赖于人类的能力和天赋。专家和精英运动员通常需要花费大约十年的时间来完善他们的 技能 以达到精英的水平。 如果让计算机来实现,恐怕这个时间会极大缩短。 几乎所有的人都是在幼儿时期学习语言的,而这一阶段通常很少得到帮助和正式的指导。另外,成为专家需要广泛的深思熟虑的实践,这种差异是程度的问题,还是两个学习任务中使用的机制不同? 如果这其中仅仅是程度问题,那么让机器来实现这种程度差异时,可以极大缩短时间,但若是机制不同,我们就需要找到这种机制的差异性,通过机器语言描述出来,才能让计算机实现这种机制。 在影响机器学习的因素中,问题和输入数据的表示可以说是最重要的 , 在这一点上,表示的选择仍然由机器学习系统的设计者决定 ,比如最近的ChatGPT,使用的就是就是互联网上已存在的数据进行的训练,使其达到了类似人的效果。 但一个真正通用的人工智能将需要创建自己的表示能力, 而不仅仅依赖输入, 我们离自动化实现这一目标还有很长的路要走。 这中间就不得不提到一个悖论,就是因为ChatGPT的训练是基于互联网的海量数据,这里面的数据有真有假,这就会导致ChatGPT被训练出来的结果偶尔也会出现事实性错误,这一方面涉及到输入数据的噪声问题,就是要让ChatGPT区分出数据的真假;另一方面,ChatGPT训练出来的数据也会流入到互联网上,那么如果他用自己生成的数据来训练自己,这又会反过来污染了整个互联网的数据,不过,我想设计者应该会通过算法,规避以上2种情况。 算法的使用使人类的思维更加有效,并使得计算机自动处理成为可能。 计算机一开始的设计,就是严格遵循逻辑,精确的目的。如果 当信息不完善, 计算机的处理,就更要依赖设计者的算法设计,针对信息不完善的情况,为了 使 决策最优 , 我们 倾向于成本较低的错误 。 机器学习的工作原理是通过 参数 调优 , 使其更接近目标。 科学家把其想法保持在熟悉范围内的趋势称为范式。 智能由三种适应能力组成,分析、创造和实践。 通用是指我们的人工通用智能应该能够在某个时候解决任何一种问题,而不是同时解决每一种问题。 因为即便是我们人类,也只能是经过多年的训练之后,能解决某一类的问题,而不存在一个样样精通的全才。 目前的发展,我们能创造出诸如扫地机器人,搬运机器人等诸如此类的专用人工智能设备,但是要想实现通用人工智能,实现一种机器人的多场景适用,恐怕未来的路还有很远。 回到题目提出的问题,我们离通用人工智能还有多远? 我想我们面临和解决的问题不止一个,在当前范式内,我们是否能实现通用人工智能有待商榷,不过如果产生大的范式转变,这又可能柳暗花明;如何让计算机实现自我思考,而不再依赖人类的数据喂养,这又需要生物技术的不断进步,进一步对我们人脑的探索达到一个新的高度,通过生物技术迁移到人工智能。最后,还有能量消耗的问题需要解决,毕竟人思考消耗的能量和目前计算机所谓的人工智能消耗的能量差距太大,如何让计算机在计算时消耗更少的能量,也是需要解决的问题。 如今,ChatGPT,通用机器人,超导材料等不断取得新的进展,未来通用人工智能的实现,恐怕也只是时间问题。
  • 热度 3
    2023-8-7 11:53
    510 次阅读|
    0 个评论
    InfiniBand到底是个啥?
    对于 InfiniBand ,很多搞数通的同学肯定不会陌生。 进入 21 世纪以来,随着云计算、大数据的不断普及,数据中心获得了高速发展。而 InfiniBand ,就是数据中心里的一项关键技术,地位极为重要。 尤其是今年以来,以 ChatGPT 为代表的 AI 大模型强势崛起,更是让 InfiniBand 的关注热度大涨。因为, GPT 们所使用的网络,就是英伟达公司基于 InfiniBand 构建的。 那么, InfiniBand 到底是什么技术?它为什么会倍受追捧?人们经常讨论的 “InfiniBand 与以太网 ” 之争,又是怎么回事? 今天这篇文章,就让小枣君来逐一解答。 █ InfiniBand 的发展历程 InfiniBand (简称 IB ),是一种能力很强的通信技术协议。它的英文直译过来,就是 “ 无限带宽 ” 。 Infiniband 的诞生故事,还要从计算机的架构讲起。 大家都知道,现代意义上的数字计算机,从诞生之日起,一直都是采用的冯 · 诺依曼架构。在这个架构中,有 CPU (运算器、控制器)、存储器(内存、硬盘),还有 I/O (输入 / 输出)设备。 上世纪 90 年代早期,为了支持越来越多的外部设备,英特尔公司率先在标准 PC 架构中引入 PCI ( Peripheral Component Interconnect ,外设部件互连标准)总线设计。 PCI 总线,其实就是一条通道。 不久后,互联网进入高速发展阶段。线上业务和用户规模的不断增加,给 IT 系统的承载能力带来了很大挑战。 当时,在摩尔定律的加持下, CPU 、内存、硬盘等部件都在快速升级。而 PCI 总线,升级速度缓慢,大大限制了 I/O 性能,成为整个系统的瓶颈。 为了解决这个问题,英特尔、微软、 SUN 公司主导开发了 “Next Generation I/O ( NGIO ) ” 技术标准。而 IBM 、康柏以及惠普公司,则主导开发的 “Future I/O ( FIO ) ” 。 IBM 这三家公司,还合力搞出了 PCI-X 标准( 1998 年)。 1999 年, FIO Developers Forum 和 NGIO Forum 进行了合并,创立了 InfiniBand 贸易协会( InfiniBand Trade Association , IBTA )。 很快, 2000 年, InfiniBand 架构规范的 1.0 版本正式发布了。 简单来说, InfiniBand 的诞生目的,就是为了取代 PCI 总线。它引入了 RDMA 协议,具有更低的延迟,更大的带宽,更高的可靠性,可以实现更强大的 I/O 性能。(技术细节,后文会详细介绍。) 说到 InfiniBand ,有一家公司我们是必须提到的,那就是大名鼎鼎的 Mellanox 。 迈络思 1999 年 5 月,几名从英特尔公司和伽利略技术公司离职的员工,在以色列创立了一家芯片公司,将其命名为 Mellanox 。 Mellanox 公司成立后,就加入了 NGIO 。后来, NGIO 和 FIO 合并, Mellanox 随之加入了 InfiniBand 阵营。 2001 年,他们推出了自己的首款 InfiniBand 产品。 2002 年, InfiniBand 阵营突遭巨变。 这一年,英特尔公司 “ 临阵脱逃 ” ,决定转向开发 PCI Express (也就是 PCIe , 2004 年推出)。而另一家巨头微软,也退出了 InfiniBand 的开发。 尽管 SUN 和日立等公司仍选择坚持,但 InfiniBand 的发展已然蒙上了阴影。 2003 年开始, InfiniBand 转向了一个新的应用领域,那就是计算机集群互联。 这一年,美国弗吉尼亚理工学院创建了一个基于 InfiniBand 技术的集群,在当时的 TOP500 (全球超级计算机 500 强)测试中排名第三。 2004 年,另一个重要的 InfiniBand 非盈利组织诞生 ——OFA ( Open Fabrics Alliance ,开放 Fabrics 联盟)。 OFA 和 IBTA 是配合关系。 IBTA 主要负责开发、维护和增强 Infiniband 协议标准; OFA 负责开发和维护 Infiniband 协议和上层应用 API 。 2005 年, InfiniBand 又找到了一个新场景 —— 存储设备的连接。 老一辈网工一定记得,当年 InfiniBand 和 FC ( Fibre Channel ,光纤通道)是非常时髦的 SAN ( Storage Area Network ,存储区域网络)技术。小枣君初次接触 InfiniBand ,就是在这个时候。 再后来, InfiniBand 技术逐渐深入人心,开始有了越来越多的用户,市场占比也不断提升。 到了 2009 年,在 TOP500 榜单中,已经有 181 个采用了 InfiniBand 技术。(当然,千兆以太网当时仍然是主流,占了 259 个。) 在 InfiniBand 逐渐崛起的过程中, Mellanox 也在不断壮大,逐渐成为了 InfiniBand 市场的领导者。 2010 年, Mellanox 和 Voltaire 公司合并, InfiniBand 主要供应商只剩下 Mellanox 和 QLogic 。不久后, 2012 年,英特尔公司出资收购了 QLogic 的 InfiniBand 技术,返回到 InfiniBand 的竞争赛道。 2012 年之后,随着高性能计算( HPC )需求的不断增长, InfiniBand 技术继续高歌猛进,市场份额不断提升。 2015 年, InfiniBand 技术在 TOP500 榜单中的占比首次超过了 50% ,达到 51.4% ( 257 套)。 这标志着 InfiniBand 技术首次实现了对以太网( Ethernet )技术的逆袭。 InfiniBand 成为超级计算机最首选的内部连接技术。 2013 年, Mellanox 相继收购了硅光子技术公司 Kotura 和并行光互连芯片厂商 IPtronics ,进一步完善了自身产业布局。 2015 年, Mellanox 在全球 InfiniBand 市场上的占有率达到 80% 。他们的业务范围,已经从芯片逐步延伸到网卡、交换机 / 网关、远程通信系统和线缆及模块全领域,成为世界级网络提供商。 面对 InfiniBand 的赶超,以太网也没有坐以待毙。 2010 年 4 月, IBTA 发布了 RoCE ( RDMA over Converged Ethernet ,基于融合以太网的远程直接内存访问),将 InfiniBand 中的 RDMA 技术 “ 移植 ” 到了以太网。 2014 年,他们又提出更加成熟的 RoCE v2 。 有了 RoCE v2 ,以太网大幅缩小了和 InfiniBand 之间的技术性能差距,结合本身固有的成本和兼容性优势,又开始反杀回来。 大家通过下面这张图,可以看出从 2007 年到 2021 年的 TOP500 榜单技术占比。 如图所示, 2015 年开始, 25G 及更高速率的以太网(图中深绿色的线)崛起,迅速成为行业新宠,一度压制住了 InfiniBand 。 2019 年,英伟达( Nvidia )公司豪掷 69 亿美元,击败对手英特尔和微软(分别出价 60 亿和 55 亿美元),成功收购了 Mellanox 。 对于收购原因,英伟达 CEO 黄仁勋是这么解释的: “ 这是两家全球领先高性能计算公司的结合,我们专注于加速计算( accelerated computing ),而 Mellanox 专注于互联和存储。 ” 现在看来,老黄的决策是非常有远见的。 正如大家所见, AIGC 大模型崛起,整个社会对高性能计算和智能计算的需求井喷。 想要支撑如此庞大的算力需求,必须依赖于高性能计算集群。而 InfiniBand ,在性能上是高性能计算集群的最佳选择。 将自家的 GPU 算力优势与 Mellanox 的网络优势相结合,就等于打造了一个强大的 “ 算力引擎 ” 。在算力基础设施上,英伟达毫无疑问占据了领先优势。 如今,在高性能网络的竞争上,就是 InfiniBand 和高速以太网的缠斗。双方势均力敌。不差钱的厂商,更多会选择 InfiniBand 。而追求性价比的,则会更倾向高速以太网。 剩下还有一些技术,例如 IBM 的 BlueGene 、 Cray ,还有 Intel 的 OmniPath ,基本属于第二阵营了。 █ InfiniBand 的技术原理 介绍完 InfiniBand 的发展历程,接下来,我们再看看它的工作原理。为什么它会比传统以太网更强。它的低时延和高性能,究竟是如何实现的。 起家本领 ——RDMA 前文提到, InfiniBand 最突出的一个优势,就是率先引入 RDMA ( Remote Direct Memory Access ,远程直接数据存取)协议。 在传统 TCP/IP 中,来自网卡的数据,先拷贝到核心内存,然后再拷贝到应用存储空间,或从应用空间将数据拷贝到核心内存,再经由网卡发送到 Internet 。 这种 I/O 操作方式,需要经过核心内存的转换。它增加了数据流传输路径的长度,增加了 CPU 的负担,也增加了传输延迟。 传统模式 VS RDMA 模式 RDMA 相当于是一个 “ 消灭中间商 ” 的技术。 RDMA 的内核旁路机制,允许应用与网卡之间的直接数据读写,将服务器内的数据传输时延降低到接近 1us 。 同时, RDMA 的内存零拷贝机制,允许接收端直接从发送端的内存读取数据,绕开了核心内存的参与,极大地减少了 CPU 的负担,提升 CPU 的效率。 如前文所说, InfiniBand 之所以能迅速崛起, RDMA 居功至伟。 InfiniBand 的网络架构 InfiniBand 的网络拓扑结构示意,如下图所示: InfiniBand 是一种基于通道的结构,组成单元主要分为四类: · HCA ( Host Channel Adapter ,主机通道适配器) · TCA ( Target Channel Adapter ,目标通道适配器) · InfiniBand link (连接通道,可以是电缆或光纤,也可以是板上链路) · InfiniBand 交换机和路由器(组网用的) 通道适配器就是搭建 InfiniBand 通道用的。所有传输均以通道适配器开始或结束,以确保安全或在给定的 QoS (服务质量)级别下工作。 使用 InfiniBand 的系统可以由多个子网( Subnet )组成,每个子网最大可由 6 万多个节点组成。子网内部, InfiniBand 交换机进行二层处理。子网之间,使用路由器或网桥进行连接。 InfiniBand 组网示例 InfiniBand 的二层处理过程非常简单,每个 InfiniBand 子网都会设一个子网管理器,生成 16 位的 LID (本地标识符)。 InfiniBand 交换机包含多个 InfiniBand 端口,并根据第二层本地路由标头中包含的 LID ,将数据包从其中一个端口转发到另一个端口。除管理数据包外,交换机不会消耗或生成数据包。 简单的处理过程,加上自有的 Cut-Through 技术, InfiniBand 将转发时延大幅降低至 100ns 以下,明显快于传统以太网交换机。 在 InfiniBand 网络中,数据同样以数据包(最大 4KB )的形式传输,采用的是串行方式。 InfiniBand 的协议栈 InfiniBand 协议同样采用了分层结构。各层相互独立,下层为上层提供服务。如下图所示: 其中,物理层定义了在线路上如何将比特信号组成符号,然后再组成帧、数据符号以及包之间的数据填充等,详细说明了构建有效包的信令协议等。 链路层定义了数据包的格式以及数据包操作的协议,如流控、 路由选择、编码、解码等。 网络层通过在数据包上添加一个 40 字节的全局的路由报头( Global Route Header, GRH )来进行路由的选择,对数据进行转发。 在转发的过程中,路由器仅仅进行可变的 CRC 校验,这样就保证了端到端的数据传输的完整性。 Infiniband 报文封装格式 传输层再将数据包传送到某个指定的队列偶( Queue Pair, QP )中,并指示 QP 如何处理该数据包。 可以看出, InfiniBand 拥有自己定义的 1-4 层格式,是一个完整的网络协议。端到端流量控制,是 InfiniBand 网络数据包发送和接收的基础,可以实现无损网络。 说到 QP (队列偶),我们需要多提几句。它是 RDMA 技术中通信的基本单元。 队列偶就是一对队列, SQ ( Send Queue ,发送工作队列)和 RQ ( Receive Queue ,接收工作队列)。用户调用 API 发送接收数据的时候,实际上是将数据放入 QP 当中,然后以轮询的方式,将 QP 中的请求一条条的处理。 InfiniBand 的链路速率 InfiniBand 链路可以用铜缆或光缆,针对不同的连接场景,需使用专用的 InfiniBand 线缆。 InfiniBand 在物理层定义了多种链路速度,例如 1X , 4X , 12X 。每个单独的链路是四线串行差分连接(每个方向两根线)。 以早期的 SDR (单数据速率)规范为例, 1X 链路的原始信号带宽为 2.5Gbps , 4X 链路是 10Gbps , 12X 链路是 30Gbps 。 1X 链路的实际数据带宽为 2.0Gbps (因为采用 8b/10b 编码)。由于链路是双向的,因此相对于总线的总带宽是 4Gbps 。 随着时间的推移, InfiniBand 的网络带宽不断升级,从早期的 SDR 、 DDR 、 QDR 、 FDR 、 EDR 、 HDR ,一路升级到 NDR 、 XDR 、 GDR 。如下图所示: 英伟达最新的 Quantum-2 平台好像采用的是 NDR 400G 具体速率和编码方式 InfiniBand 的商用产品 最后,我们再来看看市面上的 InfiniBand 商用产品。 英伟达收购 Mellanox 之后,于 2021 年推出了自己的第七代 NVIDIA InfiniBand 架构 ——NVIDIA Quantum-2 。 NVIDIA Quantum-2 平台包括: NVIDIA Quantum-2 系列交换机、 NVIDIA ConnectX-7 InfiniBand 适配器、 BlueField-3 InfiniBand DPU ,以及相关的软件。 NVIDIA Quantum-2 系列交换机采用紧凑型 1U 设计,包括风冷和液冷版本。交换机的芯片制程工艺为 7nm ,单芯片拥有 570 亿个晶体管(比 A100 GPU 还多)。采用 64 个 400Gbps 端口或 128 个 200Gbps 端口的灵活搭配,提供总计 51.2Tbps 的双向吞吐量。 NVIDIA ConnectX-7 InfiniBand 适配器,支持 PCIe Gen4 和 Gen5 ,具有多种外形规格,可提供 400Gbps 的单或双网络端口。 █ 结语 根据行业机构的预测,到 2029 年, InfiniBand 的市场规模将达到 983.7 亿美元,相比 2021 年的 66.6 亿美元,增长 14.7 倍。预测期内( 2021-2029 )的复合年增长率,为 40% 。 在高性能计算和人工智能计算的强力推动下, InfiniBand 的发展前景令人期待。 究竟它和以太网谁能笑到最后,就让时间来告诉我们答案吧! 关注公众号“优特美尔商城”,获取更多电子元器件知识、电路讲解、型号资料、电子资讯,欢迎留言讨论。
  • 热度 5
    2023-8-6 00:47
    920 次阅读|
    0 个评论
    《零基础学会PYTHON编程》之阅读心得体验
    读了这本《码上行动-零基础学会Python编程(ChatGPT版)》,说说我的阅读心得体验。 申请这本书的原因有点特殊,是因为封面上写着ChatGPT相关的内容,引起了我的好奇: 要知道今年以来ChatGPT相关的话题非常火爆,号称将极大地提高生产效率,掌握不了这类AI工具的很多人将会失业。 ChatGPT这块我是有一些研究的,也写过相关的文章,感兴趣的读者可以在“电路啊”公众号中搜索这三篇文章: 1、《问ChatGPT:为什么摸电脑会有酥麻触电的感觉》 2、《周末在图书馆的一天:研究ChatGPT》 3、《用ChatGPT,快速制作维修培训用的PPT》 关于Python,我也是了解的,手上有这类书: 以上就是申请这本书的缘由,对Python和ChatGPT都有一定的了解,尤其是这本书ChatGPT的部分引起了我的好奇。 下面回到这本书,说说我的阅读心得体验。 这本《零基础学会PYTHON编程》,不愧为号称“零基础”使用的教程,关于Python教学的编排深入浅出,非常适合初学者。 整个知识框架编排如下: 从开发环境搭建,到Python语言的语法基础,一步一步进阶拓展。 作为一名电子硬件类公众号的作者,不由得发出感慨,学Python使用一台电脑就可以全部搞定,非常方便! 不像学电子硬件,实操时需要电烙铁、示波器、电阻电容芯片等一大堆仪器工具和电子元器件,学习门槛上高了不少。 这本书把操作步骤写得较为详细,加上解析注释很容易看懂。 这是书中的示例程序,读者读懂代码,然后可以马上跟着示例上机验证: 书本一看就懂,用电脑上机一练就会,所谓“纸上得来终觉浅,绝知此事要躬行”,这样学起来简单高效。 所以新手入手这本书是非常不错的。 书本最后一张是关于ChatGPT的部分,应该说篇幅占比在全书里是蛮低的。篇幅虽少,但还算言简意赅: 这是介绍如何注册使用ChatGPT: 最核心的内容是如何用ChatGPT来帮助学习Python,以及使用ChatGPT来辅助编程。 这是一个用ChatGPT来辅助编程的示例: 向ChatGPT提问,让其提供代码,然后读者进行调试验证。 当然书中也提到,ChatGPT只能“辅助”编程,很多时候它给出的代码是错误的,需要读者自己有一定的编程能力去鉴别。读者必须“打铁还需自身硬”,然后不断引导ChatGPT调整修正,AI并不能直接帮忙写好完善的代码。 在前面提到的我写的文章中,也是这样认为的。 所以大家应该通过提升使用AI工具的能力,来提升自己的工作效率,这样自己才不会被AI替代。 对书中ChatGPT相关的内容,我个人是有一点失望的,因为并没有超出我原有的认知范围,带来的知识增量很少。 但一本编程教学书籍,加入ChatGPT辅助学习、辅助编程的内容,是非常必要的。这部分内容目前在绝大多数的编程教学书籍上都还没有,所以本书还具有一定的“先驱性”。 总的来说,《零基础学会PYTHON编程》是一本Python入门学习非常不错的书籍,值得推荐。
相关资源
  • 所需E币: 0
    时间: 2024-3-31 17:44
    大小: 945.64KB
    上传者: 快乐二进制
    Sora的出现给中国编程教育带来了巨大的影响,将推动编程教育向更加智能化、个性化的方向迈进。在Sora的帮助下,学生可以享受到更加智能化的学习体验,教师可以更好地进行教学辅助,家长们也将更加关注编程教育的创新性和个性化程度。可以期待随着Sora的进一步应用和发展,中国编程教育将迎来更加美好的未来,为培养更多优秀的程序员和科技人才做出更大的贡献。
  • 所需E币: 2
    时间: 2023-10-22 13:59
    大小: 1.34MB
    上传者: 宝藏库
    自然语言处理的发展历史回顾Attention注意力机制的基本原理Transformer构建大模型的基石持续进化:从GPT-1到GPT-3能力突变:从ChatGPT到GPT-4未来展望:多模态和AIGC.
  • 所需E币: 1
    时间: 2023-8-25 15:31
    大小: 1.19MB
    上传者: 雨霖
    ChatGPT专业使用技巧文档,给与你工作效率的提示
  • 所需E币: 0
    时间: 2023-8-11 11:14
    大小: 1011B
    上传者: 蝴蝶结欧恩
    分享课程——从零到一打造私人智能英语学习助手,附源码。大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
  • 所需E币: 5
    时间: 2023-6-6 17:51
    大小: 11.22MB
    上传者: 木头1233
    深入了解ChatGPT.pdf深入了解ChatGPT.pdf
  • 所需E币: 0
    时间: 2023-6-6 18:20
    大小: 1.85MB
    上传者: 张生mcu
    ChatGPT的技术发展路径和带来的影响-2023.3-31页.pdf
  • 所需E币: 0
    时间: 2023-6-6 17:50
    大小: 33.93MB
    上传者: 木头1233
    ChatGPT从入门到精通ChatGPT从入门到精通