标签: 7月

大数据工程师2023版（23年7月升级版33周），视频+源码+PDF课件+电子手册+软件下载地址+接口数据集下载！课程涉及一下内容：1、Linux在大数据领域，Linux是一种常用的操作系统，它提供了丰富的命令行工具和功能，用于处理和分析大数据。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。2、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。3、HDFSHDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。4、MapReduceMapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上5、Flumeflume是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。用户行为日志通过前端平台存储到logservice中，通过flume的实时采集发过来的信息，然后发送到大数据平台上6、Hivehive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。7、HBaseHBase–HadoopDatabase，是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。8、ImpalaImpala是一个MPP（大规模并行处理）SQL查询引擎：是一个用C++和Java编写的开源软件；用于处理存储在Hadoop集群中大量的数据；性能最高的SQL引擎（提供类似RDBMS的体验），提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。9、ScalaScala全称为ScalableLanguage，即“可伸缩的语言”，之所以这样命名，是因为它的设计目标是希望伴随着用户的需求一起成长。Scala是一门综合了面向对象和函数式编程概念的静态类型的编程语言，它运行在标准的Java平台上，可以与所有的Java类库无缝协作。10、SparkApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。11、KafkaKafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统），它可以处理消费者在网站中的所有动作流数据。12、RedisRedis（RemoteDictionaryServer)，即远程字典服务，是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API13、FlinkApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。14、ClickHouseClickHouse是一个完全的列式数据库管理系统，允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。15、ElasticsearchElasticsearch是位于ElasticStack核心的分布式搜索和分析引擎。Logstash和Beats有助于收集、聚合和丰富您的数据并将其存储在Elasticsearch中。Kibana使您能够以交互方式探索、可视化和分享对数据的见解，并管理和监控堆栈16、数据中台数据中台是一个数据仓库，介于底层海量数据湖（“后台”）和用户界面消费（“前台”）之间，像一个有规则的“货架仓库”。其建造目的是为了节省成本和激发下游用户创造能力，最终实现效率提升与价值增值。

Three.js可视化企业实战WEBGL教程分享下载，2023年7月升级版45章，附源码+课件+素材下载！Three.js是一款运行在浏览器中的3D引擎，你可以用它创建各种三维场景，包括了摄影机、光影、材质等各种对象。你可以在它的主页上看到许多精采的演示。不过，这款引擎目前还处在比较不成熟的开发阶段，其不够丰富的API以及匮乏的文档增加了初学者的学习难度（尤其是文档的匮乏），《Three.js可视化企业实战WEBGL教程》无疑弥补了这个空缺，课程结合大量实践案例，让您对Three.js有更深入的了解！掌握一些概念性知识1、前端基本功–HTML+CSS+JS，至少会写需要引入入外部JS的单页HTML，本文即使用这种模式编写和实现2、Three.js概念：Three.js是基于原生WebGL封装运行的三维引擎，在所有WebGL引擎中，Three.js是国内文资料最多、使用最广泛的三维引擎3、基于Three.js写页面的三要素是：场景(Scene)、相机(Camera)、渲染器(Renderer)为什么选择three.js官网对「Threejs」的介绍非常简单：“Javascript3Dlibrary”。「openGL」是一个跨平台3D/2D的绘图标准，「WebGL」则是「openGL」在浏览器上的一个实现。web前端开发人员可以直接用「WebGL」接口进行编程，但「WebGL」只是非常基础的绘图API，需要编程人员有很多的数学知识、绘图知识才能完成3D编程任务，而且代码量巨大。「Threejs」对「WebGL」进行了封装，让前端开发人员在不需要掌握很多数学知识和绘图知识的情况下，也能够轻松进行web3D开发，降低了门槛，同时大大提升了效率。总结来一句话：就是你不懂计算机图形学，只要理解了three.js的一些基本概念你可以。文章的开头我们就已经说过了，threejs三大妈：场景、相机、渲染器。其中的场景，暂且可以理解为最终我们看到的这个画布。我们首先需要new一个scene对象。然后分别new一个形状和材料实例，通过scene的add方法加入到画布中去。这个过程的实现代码就是下面这几行。逻辑很清晰：我们往场景中塞入了一个球体，然后给这个球体做了点装饰，就是用的“材料”。我们可以设置这个“材料”的颜色、金属强度等一系列的图像学的属性。Build目录：包含两个文件，three.js和three.min.js。这是three.js最终被引用的文件。一个已经压缩，一个没有压缩的js文件。Docs目录：这里是three.js的帮助文档，里面是各个函数的api，可惜并没有详细的解释。试图用这些文档来学会three.js是不可能的。Editor目录：一个类似3D-max的简单编辑程序，它能创建一些三维物体。Examples目录：一些很有趣的例子demo，可惜没有文档介绍。对图像学理解不深入的同学，学习成本非常高。Src目录：源代码目录，里面是所有源代码。Test目录：一些测试代码，基本没用。Utils目录：存放一些脚本，python文件的工具目录。例如将3D-Max格式的模型转换为three.js特有的json模型。.gitignore文件：git工具的过滤规则文件，没有用。CONTRIBUTING.md文件：一个怎么报bug，怎么获得帮助的说明文档。LICENSE文件：版权信息。README.md文件：介绍three.js的一个文件，里面还包含了各个版本的更新内容列表。场景——相机——渲染器从实际生活中拍照角度或是使用三维渲染软件角度理解本节课的案例代码，立方体网格模型和光照组成了一个虚拟的三维场景,相机对象就像你生活中使用的相机一样可以拍照，只不过一个是拍摄真实的景物，一个是拍摄虚拟的景物，拍摄一个物体的时候相机的位置和角度需要设置，虚拟的相机还需要设置投影方式，当你创建好一个三维场景，相机也设置好，就差一个动作“咔”，通过渲染器就可以执行拍照动作。

分享一套WEBGL视频教程——《Three.js可视化企业实战WEBGL视频教程》，2023年7月升级版45章！什么是WebGL。WebGL是在浏览器中实现三维效果的一套规范。使用WebGL原生的API来写3D程序是一件非常痛苦的事情，幸好，有很多同行花业余时间写了一些WebGL开源框架，其中three.js就是非常优秀的一个。什么是threejs，很简单，你将它理解成three+js就可以了。three表示3D的意思，js表示javascript的意思。那么合起来，three.js就是使用javascript来写3D程序的意思。three.js官方定义的三大要素：场景（scene）、相机（camera）、渲染器（render）。我觉得还得加上一个物体（内容）。场景主要包含Object,和灯光。Object有很多类别，主要是点，线，网格Mesh。然后Mesh有是由Geometry和Material材质组成的。Geometry是纯网格顶点信息,有Geometry和BufferGeometry两类，这两类下边又有很多子类。Material是材质信息，下边又有一些子类，比如基础材质，PBR材质，和可配置shader的材质。然后可以在场景里添加灯光。灯光主要有点光源，方向光，聚光灯，面光源。其中面光源用到了比较新的算法，但是目前实现的效果应该还有些问题。相机主要是两大类，透视相机和正交相机。渲染器主要是基于webgl的WebGLRenderer和非webgl的SVGRenderer。要在屏幕上展示3D图形，思路大体上都是这样的：1、构建一个三维空间Three中称之为场景(Scene)2、选择一个观察点，并确定观察方向/角度等Three中称之为相机(Camera)3、在场景中添加供观察的物体Three中的物体有很多种，包括Mesh,Line,Points等，它们都继承自Object3D类4、将观察到的场景渲染到屏幕上的指定区域Three中使用Renderer完成这一工作Three.js应用场景利用Three.JS可以制作出很多酷炫的3D动画，并且Three.js还可以通过鼠标、键盘、拖拽等事件形成交互，在页面上增加一些3D动画和3D交互可以产生更好的用户体验。通过Three.JS可以实现全景视图，这些全景视图应用在房产、家装行业能够带来更直观的视觉体验。在电商行业利用Three.JS可以实现产品的3D效果，这样用户就可以360度全方位地观察商品了，给用户带来更好的购物体验。另外，使用Three.JS还可以制作类似微信跳一跳那样的小游戏。随着技术的发展、基础网络的建设，web3D技术还能得到更广泛的应用。

AI芯片第一股寒武纪7月20日科创板上市，发行价64.39元.docx