在Spark Core应用开发与运维过程中，准确获取集群版本是一项基础但关键的工作。不同版本的Spark在API行为、调度逻辑以及依赖兼容上存在差异，明确版本有助于快速定位问题。
通过SparkConf读取版本配置
Spark在集群启动时，会将自身版本写入配置项 spark.version 中。我们可以在应用中直接通过SparkConf对象获取该值。
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
val conf = new SparkConf().setAppName("VersionDemo")
val sc = new SparkContext(conf)
// 从SparkContext中直接获取版本字符串
val version = sc.version
println("Spark Core集群版本: " + version)
sc.stop()
使用SparkSession获取版本
如果项目基于Spark 2.x及以上，通常使用SparkSession作为入口，它同样暴露了版本信息。
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("version_demo").getOrCreate()
# spark.version 返回集群版本
print("Spark Core集群版本: " + spark.version)
spark.stop()
通过REST接口查询独立集群版本
当使用Standalone模式部署时，Master节点提供REST接口，可返回集群及Spark版本。
# 假设Master运行在 localhost:8080 curl http://localhost:8080/json/ | grep -i "sparkVersion"
不同方式对比
| 获取方式 | 适用场景 | 准确性 |
|---|---|---|
| SparkConf/SparkContext | 应用代码内获取 | 高，直接来自运行时 |
| SparkSession | 结构化API项目 | 高 |
| REST接口 | 集群外部监控 | 高，但依赖网络可达 |
注意事项
- 确保客户端依赖的Spark版本与集群一致，否则
sc.version可能仅反映客户端版本。 - 在YARN或Kubernetes模式下，仍以SparkContext中读取的版本为准。
- 不要通过解析日志文件推断版本，容易受格式变化影响。
通过上述方法，你可以稳定且准确地获取Spark Core集群版本，为后续调试和升级提供依据。
Spark_Core集群版本SparkConf修改时间：2026-07-26 19:33:15