iT邦幫忙

scala相關文章
共有 32 則文章

技術 MacBook Pro初心者經驗分享by a Java programmer

由於公司對於員工自購筆電有補助, 想來想去自然是挑不二價的 MacBook Pro 啦! 入手時間是端午過後, 本文主要是分享這 10 來天將MacBook...

達標好文 技術 Spark SQL實測 MySQL, MSSQL, Oracle "SELECT語法"

任何結構性的資料(ex:Json)在Spark SQL下,都可以透過 createOrReplaceTempView("view名稱") 告...

鐵人賽 Big Data DAY 30
Spark 2.0 in Scala 系列 第 30

技術 [Spark-Day30](完結篇)資料工程師之路

從我的文章就大慨可以看出,我的內容很偏資料工程,而不是所謂的資料科學,更沒有講到半點ML或是DP。因為我是一位熱愛資料處理的(資料工程師)數據領域黑手XD。雖然...

鐵人賽 Big Data DAY 29
Spark 2.0 in Scala 系列 第 29

技術 [Spark-Day29](Spark好友篇) Cassandra with Spark長篇

昨天完成Cassandra的簡易安裝,並在cqlsh中走過基本的CRUD、UDT以及一些稍微特別的操作馬拉松後,今天當然要進一步用Spark與Cassandra...

鐵人賽 Big Data DAY 28
Spark 2.0 in Scala 系列 第 28

技術 [Spark-Day28](Spark好友篇)一次搞定Cassandra安裝與基礎查詢操作

趁最後幾天衝一下我很愛的分散式資料庫Cassandra。如果要用30秒的電梯演講說明Cassandra的優點,我會說: Cassandra是個開放源碼、分散式...

鐵人賽 Big Data DAY 27
Spark 2.0 in Scala 系列 第 27

技術 [Spark-Day27](Spark 好友篇)SparkStreaming With Kafka

我們昨天已經看過如何在Scala中獨立使用Kafka。以我之前的經驗,Kafka Producer的部份有比較多的可能會與其他系統而不是Spark整合,這時候就...

鐵人賽 Big Data DAY 26
Spark 2.0 in Scala 系列 第 26

技術 [Spark-Day26](Spark 好友篇) Streaming with Kafka初探

Spark Streaming支援多種資料來源,最基本內建常用的有: 檔案輸入串流 (File input Stream) Socket輸入串流 (Socke...

鐵人賽 Big Data DAY 25
Spark 2.0 in Scala 系列 第 25

技術 [Spark-Day25](Scala番外篇) Extrator、Case Class、Sealed Class大亂鬥

看完最直接的pattern match基礎應用,稍微講一些周邊作為番外的Ending吧,常常與pattern match一起提到的概念大概有Extrator、C...

鐵人賽 Big Data DAY 24
Spark 2.0 in Scala 系列 第 24

技術 [Spark-Day24](Scala番外篇) Patten matching

一直很想把Patten matching、Case Class、Extrator、Sealed的相關概念寫一下,就再來個番外吧。今天沒有Spark,但是有很重要...

鐵人賽 Big Data DAY 23
Spark 2.0 in Scala 系列 第 23

技術 [Spark-Day23](Spark Streaming篇)Window Operation by Use Case

延續先前的範例,假設我只想看見一點的股票交易資料勒?例如: 最近一個小時內,總交易次數總為何?交易量最高的五支股票為何? OK,來分析問題。首先每批資料的區...

鐵人賽 Big Data DAY 22
Spark 2.0 in Scala 系列 第 22

技術 [Spark-Day22](Spark Streaming篇) mapWithState by Use Case

Spark 1.6版時提出了新的stateful函式:mapWithState。本篇延續之前的範例,然後介紹mapWithState。 我們建立了兩個RDD:...

鐵人賽 Big Data DAY 21
Spark 2.0 in Scala 系列 第 21

技術 [Spark-Day21](Spark Streaming篇)Stateful Streaming

昨天我們看了SparkingStreamingContext的起手式與一個stateless的use case。基本上,我認為stateless不用處理關注其他...

鐵人賽 Big Data DAY 20
Spark 2.0 in Scala 系列 第 20

技術 [Spark-Day20](Spark Streaming篇)Stateless Streaming by Use Case

Spark Streaming裡面的API操作主要分為兩大類: Stateless Streaming StateFul Streaming State...

鐵人賽 Big Data DAY 19
Spark 2.0 in Scala 系列 第 19

技術 [Spark-Day19](Spark Streaming篇)Streaming初探

設定完了,開始來看看Spark Streaming到底是啥吧!基本上寫Streaming我會比較習慣在IDE中,所以回到Intellij + Scala Plu...

鐵人賽 Big Data DAY 18
Spark 2.0 in Scala 系列 第 18

技術 [Spark-Day18](Spark Streaming篇)HDFS、Kafka環境設定

終於進入下一個主題:Spark Family的Spark Streaming篇~ 講解過程中要從一些外部系統接資料,特別是HDFS跟Kafka,所以免不了要提一...

鐵人賽 Big Data DAY 17
Spark 2.0 in Scala 系列 第 17

技術 [Spark-Day17](core API實戰篇) Shared Variable

終於要進入core API實戰的最後一篇~Accumulator與Broadcast,趕快開始吧! Accumulator Accumulator可在不同的ex...

鐵人賽 Big Data DAY 16
Spark 2.0 in Scala 系列 第 16

技術 [Spark-Day16](core API實戰篇) Task、Stages、Checkpoint

講完了pairRDD與聚合函數後,再來講CoreAPI最後一塊拼圖:Task & Stages。今天的文章比較偏概念性的內容,說明Spark的工作概念與...

鐵人賽 Big Data DAY 15
Spark 2.0 in Scala 系列 第 15

技術 [Spark-Day15](core API實戰篇) Sorting, Grouping by Use Case

了解Joining用法後來看看Sorting跟Grouping,Grouping的high-level API我們前幾天已經看過了,今天會講一個底層的Combi...

鐵人賽 Big Data DAY 14
Spark 2.0 in Scala 系列 第 14

技術 [Spark-Day14](core API實戰篇) Joining by Use Case

先前處理的都是單一RDD然後轉換得到我們要的結果,假設我的需要一次處理兩個RDD以上呢?這不就像DB的join嗎?沒錯,接下來要談的主題就是RDD的 Join、...

鐵人賽 Big Data DAY 13
Spark 2.0 in Scala 系列 第 13

技術 [Spark-Day13](core API實戰篇)Partition

今天來聊聊Spark的partition,也就是RDD的DD(Distributed dataset)。基本上一個RDD會有數個不等的partition所組成,...

鐵人賽 Big Data DAY 12
Spark 2.0 in Scala 系列 第 12

技術 [Spark-Day12](core API實戰篇)聚合函數-2

看懂Aggregate之後,再來的就簡單多了,繼續討論其他的聚合函數吧,還有: AggreByKey Fold FoldByKey Reduce Reduce...

鐵人賽 Big Data DAY 11
Spark 2.0 in Scala 系列 第 11

技術 [Spark-Day11](core API實戰篇)聚合函數-1

聚合(Aggregation)功能無論是資料處理或分析中不可或缺的功能。無論是最常見的avg、sum、min、max,count等或是自定義的聚合,接下來就來個...

鐵人賽 Big Data DAY 10
Spark 2.0 in Scala 系列 第 10

技術 [Spark-Day10](Scala番外篇) Currying

聖誕快樂~ 今天就來說說Scala的Currying吧,Scala官方說法為: Methods may define multiple parameter l...

鐵人賽 Big Data DAY 9
Spark 2.0 in Scala 系列 第 9

技術 [Spark-Day9](core API實戰篇) Pair RDD-2

繼續進行昨天未完成的課題 我們想要進行以下分析: 消費次數最多的贈予一支bear doll(已完成) 給予一次購買兩隻以上的Barbie交易結帳金額95%折...

鐵人賽 Big Data DAY 8
Spark 2.0 in Scala 系列 第 8

技術 [Spark-Day8](core API實戰篇) Pair RDD-1

再來準備花幾天的時間提一下幾個Spark核心概念: PairRDD Partition Aggregation類操作 RDD相依性 累加器與廣播變數 Sp...

鐵人賽 Big Data DAY 7
Spark 2.0 in Scala 系列 第 7

技術 [Spark-Day7](基礎篇) Broadcast與透過Spark-submit遞交工作

還記不記得昨天用forExpression產生一個優雅的employees Set?並且用於UDF中? val employees = Set() ++...

鐵人賽 Big Data DAY 6
Spark 2.0 in Scala 系列 第 6

技術 [Spark-Day6](基礎篇) For expression、 Set 、 SparkSQL UDF by Use Case

延續昨天的案例,昨天的案例中,我們已經可以順利取得某類GitHub Event(例如PushEvent)的所有成員,並且進行一些額外操作(例如GroupBy,...

鐵人賽 Big Data DAY 5
Spark 2.0 in Scala 系列 第 5

技術 [Spark-Day5](基礎篇) 撰寫第1支Spark App

spark-shell玩夠了,開始寫標準的APP吧。 這支簡易的應用會load一份json檔案並透過SparkSQL操作一些查詢。 sparkSQL厲害的地方之...

鐵人賽 Big Data DAY 4
Spark 2.0 in Scala 系列 第 4

技術 [Spark-Day4](基礎篇) Scala & RDD中的Implicit Conversion

往下介紹之前,先講解一下Scala中的Implicit Conversion(隱式轉換),因為Spark大量使用宣告方式,所以了解Implicit Conver...

鐵人賽 Big Data DAY 3
Spark 2.0 in Scala 系列 第 3

技術 [Spark-Day3](基礎篇) RDD概念與flatMap操作 by Use Case

以前在學程式的時候有沒有感覺老師一直講API很無聊啊,所以我們還是要套個實際範例啊!!後續的內容會有許多XXX概念 by Use Case系列,學了總是要用才有...