目前使用的python版本為 2.7、java版本為1.8、scala版本為2.11.12
我現在想要將模型存下來,但是輸入指令後,卻出現以下錯誤:
這是我輸入的指令:
rf = RandomForestRegressor(featuresCol="features",
labelCol=df2.columns[2],
numTrees=200,featureSubsetStrategy="auto",
minInstancesPerNode=1)
model=rf.fit(XX)
path ='C:/Users/user/Desktop/123456'
model.save(path)
出現的錯誤訊息如下:
An error occurred while calling o163.save.
: org.apache.spark.SparkException: Job aborted.
at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala:96)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply$mcV$sp(PairRDDFunctions.scala:1096)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply(PairRDDFunctions.scala:1094)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply(PairRDDFunctions.scala:1094)
請問有人知道該怎麼做嗎 Q___Q
從拋錯的訊息來看,應該是沒開Hadoop或者路徑的格式錯誤!
org.apache.spark.internal.io.SparkHadoopWriter
有設HADOOP_CONF_DIR環境變數下的預設路徑開頭會是 hdfs://...
沒設的話預設路徑可試試 file://...
不過看你的儲存路徑是 C:/Users/user/Desktop/123456
所以你的Spark跟Hadoop是部屬在 Win OS下???
因為我是部屬在CentOS 7下, 所以不確定是不是 hdfs://C:/Users/user/Desktop/123456
跟file://C:/Users/user/Desktop/123456
(沒處理過還有標示C槽的路徑, Linux下都是 /.../...)
順便檢查看看 start-dfs.cmd(不確定Win OS是不是這個, Linux是start-dfs.sh)
是否啟動!
Windows 部屬可參考Apache Spark in 24 hours(感覺微軟就是很囉嗦 XD)