概述 Spark Operator 大概是在 2017 年下半年开始开发的，但是因为并不是 GCP 官方团队支持的项目，但是也还是由 GCP 的工程师来发开维护。所以目前看，国内没有大规模生产环

概述 Google 了一下，目前关于 Spark Operator 的讨论还比较少。 1 2 3 4 5 6 7 . ├── crd.go ├── doc.go ├── scheduledsparkapplication │ └── crd.go └── sparkapplication └── crd.go sparkapplication 是对常规spark任务的抽象，

概述 本文将 Spark 作业称为 Spark Application 或者简称为 Spark App 或者 App。目前 TenC 弹性计算平台的 Spark 作业，是通过 Spark Operator 提交给 Kubernetes 集群的，这与 Spark 原生的直接通过 spark-submit 提交 Spark App 的方式

概述 Spark Operator 计算任务类型，底层和 Kubernetes 集成的方式是采用了 spark-on-k8s-operator 而本文主要是讲述，如何使用开箱即用的指标输出功能。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 ARG SPARK_IMAGE=gcr.io/spark-operator/spark:v2.4.4 FROM

概述 本文翻译自 Lightbend 的一篇文章，文章日期还比较新，2019/02/26。文章分为两部分，翻译也将分为两个部分。 译文 翻译开始 这两部分的博客系列里，

概述 MPI mpich mpirun openmpi & hydra 1 2 3 4 5 6 7 8 9 10 # mpiexec.hydra -n 4 echo hello hello hello hello hello # mpirun -np 4 echo hello hello hello hello hello Plato & MPI MPI 只是一种通信协议，用于高性能并行程序的执行，可以理解成，