标签: K8S

一、前言在Kubernetes（K8s）中，Pod是最小的可调度单元。当Spark任务运行在K8s上时，无论是Driver还是Executor都由一个单独的Pod来表示。每个Pod都被分配了一个唯一的IP地址，并且可以包含一个或多个容器（Container）。Driver和Executor的JVM进程都是在这些Container中启动、运行和销毁的。当一个Spark作业被提交到K8s集群后，首先会被启动的是DriverPod。然后，Driver负责按需向Apiserver请求创建ExecutorPods。Executor负责执行具体的Task。一旦作业完成，Driver将负责清理所有已创建的ExecutorPods。二、在将Spark任务提交到K8s集群上时，不同的公司可能会采取不同的方法。以下是目前常见的几种做法以及我们在线上所采用的任务提交和管理方式。1、使用原生spark-submit原生的spark-submit命令可以直接提交作业，集成起来简单且符合用户习惯。然而，这种方法不便于作业状态跟踪和管理，无法自动配置SparkUI的Service和Ingress，并且在任务结束后不能自动清理资源。因此，在生产环境中并不适合使用这种方式。2、使用spark-on-k8s-operator这是目前较常用的一种提交作业方式，需要先在K8s集群中安装spark-operator。客户端通过kubectl提交yaml文件来运行Spark作业。本质上，这是对原生方式的扩展，提供了作业管理、Service/Ingress创建与清理、任务监控、Pod增强等功能。尽管此方法可在生产环境中使用，但它与大数据调度平台的集成性较差，对于不熟悉K8s的用户来说，学习曲线较为陡峭。3、使用spark-k8s-cli在我们的生产环境中，我们使用spark-k8s-cli来提交任务。spark-k8s-cli是一个可执行文件，基于阿里云emr-spark-ack提交工具进行了重构、功能增强和深度定制。它融合了spark-submit和spark-operator两种作业提交方式的优点，所有作业都能通过spark-operator管理，并支持交互式spark-shell和本地依赖的提交。同时，它的使用方式与原生spark-submit完全一致。三、sparkonk8s的优点和缺点优点：1.资源隔离：SparkonKubernetes可以更好地管理资源，实现资源隔离，避免不同应用之间的资源竞争。2.灵活性：Kubernetes支持弹性伸缩，可以根据应用的需求自动扩容或缩容。3.易于部署：使用Kubernetes集群部署Spark应用更加简单方便，不需要手动管理集群资源。缺点：1.性能开销：在Kubernetes上运行Spark会带来一定的性能开销，相比传统的YARN或Mesos部署方式可能会有性能损失。2.学习成本：需要对Kubernetes和Spark有一定的了解，对于初学者来说可能需要花费一定时间学习。3.依赖外部组件：可能需要额外的监控和调优工具来对Spark应用进行管理，增加了系统的复杂度。四、Spark的集群部署模式Spark官方提供了四种集群部署的模式：Standalone、YARN、Mesos、Kubernetes。Standalone需要常驻Master服务和Worker服务。它作为资源调度，只能去调度Spark做作业。同时它需要每个节点预先准备好Spark运行时环境，所以不太适合生产环境使用。YARN在传统的大数据体系下是一个比较好的调度器。它不需要常驻Spark相关的服务，YARN的容器内其实也是可以进行任何作业的，但是需要每个节点去事先准备好运行时环境，YARN其实是更贴近于我们的传统Hadoop生态，它也有一些调度上的优化，比如计算时会尽可能地去找数据所在的HDFS节点，不过在我们云原生的场景下就不太适用了。Mesos在Spark3.2版本后已经被标记为弃用了，所以我们就不过多谈它。Kubernetes也是无需常驻Spark相关服务，支持容器化运行任何作业，也不需要依赖节点运行时环境，它是更贴近于云原生生态的。五、Sparkonk8s如何运行首先Spark有一个客户端，客户端会构建好driverpod对象，向K8s的apiserver发送请求，去创建driverpod，Spark的driver进程运行在driverpod当中。Sparkdriver启动之后，会在driver内构建executorpod的对象，创建executorpod，并持续watchandlist去监听每一个executorpod的状态。当任务运行结束的时候，executorpod会被清理，driverpod会继续以completed的状态存在。这就是SparkonK8s的运行过程。六、关于spark配置使用spark难免会需要一些hdfs、hive-metastore等配置、xml等，把这些配置打到镜像里显然可以，但很不灵活。本地spark-submit进程创建pod时会将本地的spark配置作为configMap挂在到pod中，所以只要维护好本地提交的spark环境即可，可以先通过kubectldescribe pod**来找到对相应的configMap，然后通过kubectldescribe configmap来确认配置

FlinkOnK8s实战课程分享下载，视频+源码+文档+虚拟机+软件包下载！！目前项目中用到Flink作为离线ETL处理构建相关的特征系统，而特征系统主要是为数据科学家、数据工程师、机器学习工程师去使用，用来去构建AI特征库，用来做模型的训练、用来做数据测试以及一些数据的预测及模型的在线服务，主要特征系统是从大数据Hbase、Hive以及关系型数据库去拉取相应的库表，存储到特征库表中，而本身K8S云原生也是相关的趋势，为什么flink要基于K8s做部署？主要有以下几个优势：容器环境容易部署、清理和重建：不像是虚拟环境以镜像进行分发部署起来对底层系统环境依赖小，所需要的包都很方便的集成到镜像中。更好的隔离性与安全性，应用部署以pod启动，pod之间相互独立，资源环境隔离后更安全。k8s集群能够利用好资源，机器学习、在线服务等许多任务都可以混合部署。云原生的趋势，丰富的k8s生态。编写K8s资源描述文件从FlinkonKubernetes的架构如上图所示，Flink任务在Kubernetes上运行的步骤有：（1）首先往Kubernetes集群提交了资源描述文件后，会启动Master和Worker的container。（2）MasterContainer中会启动FlinkMasterProcess，包含Flink-ContainerResourceManager、JobManager和ProgramRunner。（3）WorkerContainer会启动TaskManager，并向负责资源管理的ResourceManager进行注册，注册完成之后，由JobManager将具体的任务分给WorkerContainer，再由Container去执行。（4）需要说明的是，MasterContainer与WorkerContainer是用一个镜像启动的，只是启动参数不一样，如下图所示，两个deployment文件的镜像是同一个。首先，它会向K8sMaster申请创建FlinkConfigMap，在ConfigMap中提供了Flink集群运行所需要的配置，如：flink-conf.yaml和log4j.properties；其次，创建FlinkJobManager的service，通过service来打通TaskManager和JobManager之间的联通性；然后，创建FlinkJobmanager的Deployment，用来启动JobMaster，包含的组件有Dispatcher和Resourcemanager。最后，创建FlinkTaskManager的Deployment，用来启动TaskManager，因为Flink官方taskmanager-deployment.yaml示例中指定了2个副本，所以图中展示了2个TM节点

kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。k8s通常被描述为一个容器编排（containerorchestration）平台。为了理解这个含义，让我们重新审视容器的作用，这有助于知道容器有哪些不足，以及k8s如何弥补这些不足。为什么我们喜欢使用容器？容器提供了一个轻量级的机制来隔离应用程序的环境。对于一个给定的应用程序，我们可以指定其配置和所需要安装的依赖，而不用担心其与同一台物理机上其他的应用程序发生冲突。我们将每个应用程序封装在容器镜像（containerimage）中，容器镜像可以可靠地运行在任何机器（只要机器有能力运行容器镜像）上，能够提供可移植的能力，即支持应用开发到部署的平滑过渡。此外，因为每个应用是独立的，不用担心环境冲突，所以在同一台物理机上可以部署多个容器，实现更高的资源（内存和CPU）利用率，最终降低成本。日志搜集当我们在FlinkonK8s上运行一个作业，有一个功能性问题无法回避，就是日志。如果是运行在YARN上，YARN会帮我们做这件事，例如在Container运行完成时，YARN会把日志收集起来传到HDFS，供后期查看。但是K8s并未提供日志搜集与存储，所以我们可以有很多选择去做日志（收集、展示）的事情。尤其是当作业因为异常导致POD退出，POD退出后日志会丢失，这将导致异常排查变得非常困难。首先往Kubernetes集群提交了资源描述文件后，会启动Master和Worker的container。MasterContainer中会启动FlinkMasterProcess，包含Flink-ContainerResourceManager、JobManager和ProgramRunner。WorkerContainer会启动TaskManager，并向负责资源管理的ResourceManager进行注册，注册完成之后，由JobManager将具体的任务分给Container，再由Container去执行。需要说明的是，MasterContainer与WorkerContainer是用一个镜像启动的，只是启动参数不一样。session模式FlinkSession集群作为长时间运行的KubernetesDeployment执行。你可以在一个Session集群上运行多个Flink作业。每个作业都需要在集群部署完成后提交到集群。Kubernetes中的FlinkSession集群部署至少包含三个组件：运行JobManager的部署TaskManagers池的部署暴露JobManager的REST和UI端口的服务

分享课程——FlinkOnK8s实战课程2023，附源码+文档+虚拟机+软件包下载。平台工程是一个在云原生时代重新焕发活力的旧概念，被视为解决云和集群扩张、资源浪费和成本失控问题的有效手段。容器和WebAssembly(WASM)提供了一个清晰的接口，使开发者可以自由选择他们喜欢的任何语言和框架（不同于JavaEE的限制），同时也便于核心团队进行平台标准的设定和治理。Kubernetes的清晰容器管理接口将开发和运营的关注点分离，从而提升效率和生产力。我知道许多开发者可能会抱怨："平台团队只是想再次控制我们使用的工具，他们总是阻碍我们，拖慢我们的进度，让我们感到困扰。"但我认为这次情况有所不同。为什么呢？因为有一个简单的约定，那就是只要能放进一个容器，它就能被部署。

分享课程——Kubernetes系统精讲Go语言实战K8S集群可视化，视频+源码+word文档（也就是电子教程，独家提供）下载！！课程持续更新，请关注本学习地址！《Kubernetes系统精讲Go语言实战K8S集群可视化》保姆式实践指导+配套实用电子教程（也就是word文档，独家提供），助力Kubernetes（K8S）从入门到进阶，让你听得懂，更学得会，全方位提升满足企业多维需求的K8S实战技能。课程中将带领大家，系统学习新版K8S的核心知识、深度理解设计思想及底层架构原理，体系化平滑进阶的同时，基于GO从0到1打造专属K8S集群管理平台，真正落地K8S生产实践及二次开发能力。第1章【基础理论】Docker基础入门第2章【基础理论】Kubernetes集群初始化第3章【项目实战】KubeImooc项目开发环境搭建第4章【核心知识+原理分析】Pod参数详解第5章【项目实战】KubeImooc项目Pod管理模块开发第6章【核心知识+原理分析】K8S调度管理第7章【项目实战】KubeImooc项目调度管理模块开发第8章【核心知识+原理分析】将应用和配置分离第9章【项目实战】KubeImooc项目应用与配置分离模块开发第10章【核心知识+原理分析】存储卷管理第11章【项目实战】KubeImooc项目存储卷管理第12章【核心知识+原理分析】服务发现第13章【项目实战】KubeImooc项目服务发现模块开发第14章【核心知识+原理分析】工作负载管理第15章【项目实战】KubeImooc工作负载管理模块开发第16章【核心知识+原理分析】K8S认证与授权第17章【项目实战】KubeImooc认证与授权模块开发第18章【项目实战】K8S二次开发CRD项目实战第19章【项目实战】整合Harbor镜像中心第20章【项目实战】集群监控，整合Prometheus源码+word文档（电子教程）K8S架构设计首先K8S的用户，通常是运维人员。运维人员可以通过kubectl命令，对于开发者而言，Golang则对应client-go库，这个库后面我们会大量用到，当然其他的编程语言也有对应的SDK可以用。kubectl或是编程语言SDK，本质都是调用apiserver提供的接口。调用apiserver接口后，将资源定义信息存入到ETCD数据库资源定义信息就是期望状态，controller-manager会努力将期望状态变为实际状态，并且会把实际状态写入etcd到数据库如果没有通过scheduler调度模块，那么实际状态就是待调度中，因此当scheduler把pod调度到用户指定的节点时，这时实际状态则就是真实的Pod运行状态了。当scheduler把pod调度到具体某个节点信息写入到etcd数据库，这时节点上的kubelet会利用list-watch机制，这个机制课程后面会详细讲，并且大量用到。我们现在需要明白的就是，利用这种机制，kubelet能够收到运行pod的定义信息，并且把pod运行起来。每个节点上都会有kubeproxy服务，包括master节点，利用kubeproxy模块，可以作为集群的流量入口。Docker与K8S的区别和联系Docker和K8S本质上都是创建容器的工具，Docker作用与单机，K8S作用与集群。容器技术的变革Docker我相信小伙伴们都在熟悉不过了，但是小伙伴们别把容器的概念理解为只有Docker哦~，其实除了Docker之外，还有containerd、CRI-O、Kata、Virtlet等等。在单机的容器解决方案，首选Docker。随着时代的发展，对系统的性能有了更高的要求，高可用、高并发都是基本要求。随着要求变高的的同时，单机显然性能就跟不上了，服务器集群管理就是发展趋势，所以Kubernetes为代表的云原生技术强势发展。我们可以看到包括了Docker和K8S两条主线，其中Docker主要是在单机上使用，K8S是用于集群。Docker可以直接调用containerd，但是K8S与contained配合使用的话，需要实现其CRI才能和其配合使用。那什么是CRI呢？CRI全称是ContainerRuntimeInterface即容器运行时接口，只要是实现了CRI的容器运行时就能够和K8S一起愉快的玩耍了。如图我们看到的，containerd是通过criplugin来适配CRI的，而CRI-O则是为CRI量声打造。调用了容器应用时之后，下一步就是通过runc来创建容器化的进程。那什么是runc呢？runc是OCI的一种实现方式，OCI全称是OpenContainerInitiative，OCI定义了镜像和容器的运行规范和接口。通过runc就能创建资源隔离的容器化进程啦。这些容器化进程隔离的资源就包括：内存、网络、CPU等。

Linux云计算运维工程师路线图（集群、虚拟化、K8S、Docker、智能化、Python大数据）课程分享从目前市场发展情况以及应用率来说，Linux云计算的就业前景是非常不错的，至少在未来十年都是非常不错的职业，市场上对于Linux人才需求量很大，就业薪资待遇也是非常不错，有百分之八十的公司都在使用Linux；学习Linux之后可以从业的岗位也是非常多的，比如说：Linux运维工程师Linux运维平台研究工程师运维开发工程师运维总监大数据运维工程师系统运维架构师随着互联网的高速发展、网站规模越来越大、架构越来越复杂，对网络运维工程师的需求也会越来越急迫，特别是对有经验的人才需求量大，而且职业发展前景非常好。Linux云计算运维工程师路线图（集群、虚拟化、K8S、Docker、智能化、Python大数据）持续更新第一阶段Linux基础环境搭建篇第二阶段Linux磁盘管理第三阶段Linux网络篇第四阶段Docker篇  第五阶段Kubernetes（K8S）篇 第六阶段Shell基础+实战 地七阶段搜索引擎运维篇+logstash日志收集第八阶段自动化运维第九阶日志监控系统Promethus第十阶段K8S监控方案第十一阶段大型在线教育运维项目

分享课程——Kubernetes系统精讲Go语言实战K8S集群可视化，附代码+电子手册。课程中将带领大家，系统学习新版K8S的核心知识、深度理解设计思想及底层架构原理，体系化平滑进阶的同时，基于GO从0到1打造专属K8S集群管理平台，真正落地K8S生产实践及二次开发能力。

分享一套CKS视频教程：《Kubernetes/K8SCKS安全专家认证实践》，2023年完结新课，课程基于k8s1.26最新版本！提供配套的文档下载！课程大纲：第1章KubernetesCKS课程介绍及说明第2章Kubernetes1.26集群部署第3章集群检测kube-bench第4章容器镜像检测Trivy第5章容器权限最小化SecurityContext第6章系统强化Seccomp、AppArmor第7章容器沙箱gVisor第8章容器运行时监控Sysdig、Falco第9章集群审计日志Audit第10章容器网络策略NetworkPolicy第11章镜像策略ImagePolicyWebhook第12章CKS原题模拟分析与解析第13章附赠基础安全-Secrets【选修】第14章附赠基础安全-ServiceAccount【选修】第15章附赠基础安全-RBAC【选修】学完本套课程，您将会获得：——>帮助学员掌握CKS考试所必备的安全相关技能，同时提供考题原题分析，帮助学员轻松拿下CKS认证考试——>掌握如何使用Kube-bench等工具检测和排查集群安全漏洞，提升集群安全性和稳定性掌握如何使用Trivy等工具检测和修复容器镜像中的安全漏洞——>提高容器镜像的安全性掌握容器最小化权限的相关概念、实现方式，帮助学员提高容器安全性——>有效防止容器攻击掌握Seccomp和AppArmor限制容器的系统调用和资源访问权限——>为企业提供更加可靠的安全保障掌握gVisor容器沙箱，实现容器的更加安全的资源隔离和保护——>有效避免容器攻击和跨容器漏洞攻击掌握容器运行时的监控sysdig、Falco，及时发现和应对潜在的安全威胁掌握如何使用audit对容器日志进行全面审计和分析掌握NetworkPolicy网络策略实现容器之间的流量访问控制——>有效防止恶意流量的传播和攻击掌握ImagePolicyWebhook实现对容器镜像的安全检测——>防止恶意或未经授权的容器镜像运行剖析考试题型和考察知识点，帮助学员更好地掌握CKS考试，提高通过考试的几率

课程《Kubernetes、k8s（1.22.3版）入门与进阶实践》，2022新课，一共29章，提供配套的代码+文档下载！课程从最基本的内容讲起，而后一点点衍生扩展，由点到线、由线到面，组织网状知识结构，课程全程手撕YAML，让学员看懂的、听的会、还能自己动手写。每个章节都精心设计了多个不同的实践案例，能更好的巩固所学知识内容。提供课程配套文档，大大缩减学员做笔记时间，将更多的时间留出来实现课程内容。第1章Kubernetes快速入门第2章Kubernetes集群搭建-kubeadm第3章Kubernetes资源与对象入门第4章Kubernetes核心资源-Pod第5章Kubernetes核心资源-Pod生命周期第6章Kubernetes核心资源-Pod进阶与实践第7章Kubernetes工作负载-Deployment第8章Kubernetes工作负载-Deployment进阶第9章Kubernetes工作负载-DaemonSet第10章Kubernetes工作负载-Job-CronJob第11章Kubernetes负载均衡-Service第12章Kubernetes负载均衡Service进阶第13章Kubernetes负载均衡Ingress第14章Kubernetes配置与应用分离-ConfigMap第15章Kubernetes敏感数据与应用分离-Secret第16章Kubernetes数据持久化-volumes第17章Kubernetes数据持久化-PV-PVC第18章Kubernetes-StorageClass动态供应第19章Kubernetes-工作负载StatefulSet第20章Kubernetes-认证与授权RBAC第21章Kubernetes准入控制第22章Kubernetes-调度-容忍与污点第23章Kubernetes业务迁移-环境准备第24章Wordpress迁移至Kubernetes第25章SpringBoot迁移至Kubernetes第26章SpringCloud微服务迁移至Kubernetes（一）第27章SpringCloud微服务迁移至Kubernetes（二）第28章Zookeeper中间件迁移Kubernetes第29章Kafka中间件迁移Kubernetes

kubernetes权威指南第5版，基于k8s1.19版本编写，是当前最新版本

K8S集群部署指南（CentOS7.6）