任何結構性的資料(ex:Json)在Spark SQL下,都可以透過
createOrReplaceTempView("view名稱") 告知Spark SQL
你將資料註冊成一個view,之後就可以用熟悉的SQL語法來檢索資料!

scala> val task = spark.read.json("file:///data_toysrus.json")
scala> task.craeteOrReplaceTempView("toysrus")

但是光資料庫就各有各的山頭,SQL語法當然也是!
今天就拿W3School貼的語法來實測看看Spark SQL的支援程度!
第一個登場的是 MySQL:

scala> val mysql = spark.sql("SELECT * FROM toysrus LIMIT 3")
scala> mysql.show
+----------+------------+----------+-------+-------------+---------+--------+
|customerId|customerName|    date4T|  price|productAmount|productId|  time4T|
|        51|    aclindsa|2018-05-11|9506.21|            1|       68| 6:55 AM|
|        99|adamschwartz|2018-05-11|4107.59|            5|       86| 7:39 PM|
|        79|         ben|2018-05-11|2987.22|            7|       58|11:57 AM|
+----------+------------+----------+-------+-------------+---------+--------+

看起來mysql是被Spark SQL認可接受的!

第二個登場的是 MSSQL:

scala> val mssql = spark.sql("SELECT TOP 3 * FROM toysrus")
scala> mssql.show
org.apache.spark.sql.catalyst.parser.ParseException:
... ...
== SQL ==
SELECT TOP 3 * FROM toysrus
-----------^^^

TOP語法掛了,立馬噴錯!mssql挑戰失敗!

第三個登場的是 Oracle:

scala> val oracle = spark.sql("SELECT * FROM toysrus WHERE ROWNUM <= 3")
scala> oracle.show
org.apache.spark.sql.AnalysisException: cannot resolve 'ROWNUM' given input 
columns: [... ...
... ...

ROWNUM被判定為欄位,但實際Json資料本來就沒ROWNUM這個屬性!oracle挑戰失敗!