先來張Spark 2.0賀圖,這樣也算直上Spark-shell了......XD 開發環境簡述 Java8 Hadoop2.7.2(為了HDFS) Spar...
前一天我們建立了一些變數,如lines、bsdLines等,有沒有感覺他們跟一般變數沒兩樣呢?在Spark中這些變數被稱為RDD(Resilient Distr...
以前在學程式的時候有沒有感覺老師一直講API很無聊啊,所以我們還是要套個實際範例啊!!後續的內容會有許多XXX概念 by Use Case系列,學了總是要用才有...
往下介紹之前,先講解一下Scala中的Implicit Conversion(隱式轉換),因為Spark大量使用宣告方式,所以了解Implicit Conver...
spark-shell玩夠了,開始寫標準的APP吧。這支簡易的應用會load一份json檔案並透過SparkSQL操作一些查詢。sparkSQL厲害的地方之一就...
延續昨天的案例,昨天的案例中,我們已經可以順利取得某類GitHub Event(例如PushEvent)的所有成員,並且進行一些額外操作(例如GroupBy,...
還記不記得昨天用forExpression產生一個優雅的employees Set?並且用於UDF中? val employees = Set() ++...
再來準備花幾天的時間提一下幾個Spark核心概念: PairRDD Partition Aggregation類操作 RDD相依性 累加器與廣播變數 Sp...
繼續進行昨天未完成的課題我們想要進行以下分析: 消費次數最多的贈予一支bear doll(已完成) 給予一次購買兩隻以上的Barbie交易結帳金額95%折的...
聖誕快樂~ 今天就來說說Scala的Currying吧,Scala官方說法為: Methods may define multiple parameter l...