Dare To Think, Strive To Execute

Spark ERROR: SparkUncaughtExceptionHandler: Uncaught Exception in Thread Thread

spark submit 任务出现的error

error

解决办法

提交命令

1
2
3
4
5
6
7
8
9
spark-submit \
--executor-memory " 5G" \
--master "spark://bda07:7077" \
--class "sparksql.reader.JsonReader" \
--jars "scopt_2.10-3.2.0.jar" \
--conf "spark.cores.max=10" \
Json_reader.jar \
--url "" \
--output_pt $output

该命令之前master直接写的IP,所以导致这个问题,换成hostname就不会报错了。