概述 features 包里的代码，主要是用于构建 Spark 在 K8S 中的各类资源所需要的特征，个人觉得可以理解成这些 features 就是帮你写各类 Kind 的 YAML 文件。 分析 看看 features 包里的代码。这里

概述 这一块代码可以理解为 Spark 是如何实现一个基于 K8S 的调度器，来调度生成 Executor Pod 的。 分析 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 /path/to/spark/resource-managers/kubernetes/core/src/main/scala/org/apache/spark/scheduler └── cluster └── k8s ├── ExecutorPodStates.scala ├─

概述 Kubernetes 是作为新的 resourceManager 集成到 Spark 中的，集成的思路跟将 YARN 集成是类似的，Spark 本身提供 Standalone 这种资源管理的模式，当然是不够的。 而集成 Kubernetes 的方式，其实是很

概述 由于 Spark 正在就 SPIP: Use remote storage for persisting shuffle data 在改造 External Shuffle Service，所以目前 Spark on Kubernetes 还未能通过 External Shuffle Service 进行动态资源分配（在之前的文章也已经介绍过），所以本

概述 如果你平时很关注社区，那么肯定想经常试用社区提交的新的 feature，但是是不是一定要 git fecth 最新的代码，本地打包再解压才能玩起来呢？ 如果是

概述 spark-on-k8s-operator，下文简称 Spark Operator， 背景知识就不介绍太多了，本文主要分享一下 Spark Operator 的指标系统是如何构建