第 8 屆 IT 邦幫忙鐵人賽

Big Data

Big Data
Spark 2.0 in Scala 系列第 13 天

[Spark-Day13](core API實戰篇)Partition

今天來聊聊Spark的partition，也就是RDD的DD(Distributed dataset)。基本上一個RDD會有數個不等的partition所組成，...

joechh 於 2016-12-28 發表｜ 7088 次瀏覽
Big Data
30天之你好MongoDB 系列第 9 天

30-9之新手村CRUD---搜尋之陣列欄位與regex

黑色好看版 - 傳送門本篇文章將要說明其它幾個搜尋方法，包含如何搜尋document中的陣列欄位的值以及運用正規表達式regex 來進行搜尋。搜尋陣列內...

馬克於 2016-12-09 發表｜ 7064 次瀏覽
Big Data
我的資料科學之路系列第 8 天

[Day 08] 頻率派的統計推論

最近在看Bayesian statistics，那就來講講這東西好了。在講Bayesian之前先把傳統的統計推論講過。 Frequentist vs Bayes...

杜岳華於 2016-12-23 發表｜ 7054 次瀏覽
Big Data
30天之你好MongoDB 系列第 15 天

30-15之聚合(2)---Pipeline武器庫

黑色好看版 - 傳送門在上一篇文章中說明了pipeline操作符號，接下來我們這篇要說明在操作符號內使用的pipeline表達式，它讓我們可以在pipeli...

馬克於 2016-12-15 發表｜ 6985 次瀏覽
Big Data
Spark 2.0 in Scala 系列第 5 天

[Spark-Day5](基礎篇) 撰寫第1支Spark App

spark-shell玩夠了，開始寫標準的APP吧。這支簡易的應用會load一份json檔案並透過SparkSQL操作一些查詢。sparkSQL厲害的地方之一就...

joechh 於 2016-12-20 發表｜ 6919 次瀏覽
Big Data
我的資料科學之路系列第 15 天

[Day 15] Scale-free network

前面我們介紹完了Random network，大家是不是對network有了點好奇呢？今天要講一種對這個世界有影響力的network，他就是scale-fre...

杜岳華於 2016-12-30 發表｜ 6890 次瀏覽
Big Data
從學生到職場：菜鳥資料科學家的第一個月系列第 19 天

用 R 做資料視覺化 - ggplot2

ggplot2 ggplot2 是 R 語言中主流的繪圖函式庫，提供了基本的畫圖工具，產出的圖也看起來相當專業。ggplot2 的將圖表與資料分離，這樣一來同一...

WeiYuan 於 2016-12-19 發表｜ 6842 次瀏覽
Big Data
30天學會Data Integration - Kettle 系列第 16 天

Step - 數值對應與欄位排序

此篇要介紹兩個使用率也蠻高的Step，[Transform]Value Mapper與[Transform]Sort rows [Transform]Value...

juben 於 2016-12-31 發表｜ 6816 次瀏覽
Big Data
30天之你好MongoDB 系列第 11 天

30-11之索引(1)---索引的哩哩扣扣

黑色好看版 - 傳送門本篇文章將會說明以下幾點。什麼是索引? 索引的優點與缺點索引的建立索引與非索引搜尋比較不要使用索引的時機 P.S +u^...

馬克於 2016-12-11 發表｜ 6684 次瀏覽
Big Data
30天學會Data Integration - Kettle 系列第 17 天

Step - 輸出Excel檔案

此篇將說明如何將已處理好的資料匯出成Excel檔案，使用到的Step：[Output]Microsoft Excel Output。 [Output]Micro...

juben 於 2017-01-01 發表｜ 6667 次瀏覽