第 8 屆 IT 邦幫忙鐵人賽

Big Data

Big Data
tensorflow 學習筆記系列第 13 天

Tensorflow Day13 使用 Google 的 Inception Model

今日目標載入 Google 預訓練好的 Inception ResNet V2 模型使用一張圖片給模型辨識簡介以下是一個 Google 所創造出來的...

c1mone 於 2016-12-28 發表｜ 7747 次瀏覽
Big Data
我的資料科學之路系列第 26 天

[Day 25] Dimensional Reduction -- manifold learning

Manifold learning是目前比較熱門的一塊領域。有時候資料在高維度空間中的分佈沒辦法使用線性的方法將他降維下來，即使降下來了也失去了重要的資訊。這...

杜岳華於 2017-01-10 發表｜ 7710 次瀏覽
Big Data
從學生到職場：菜鳥資料科學家的第一個月系列第 5 天

Python 程式語言初探 - 操作篇

執行程式 Python 執行程式的方法有幾種：直譯器互動模式打開你的終端機，直接輸入 Python 或 Python3 指令，系統會回傳基本資訊及 &g...

WeiYuan 於 2016-12-05 發表｜ 7502 次瀏覽
Big Data
30天之你好MongoDB 系列第 16 天

30-16之聚合(3)---潮潮的MapReduce

黑色好看版 - 傳送門前兩篇說明完mongodb所提供的第一種聚合工作aggregate framework，本篇文章將要說明mongodb所提供的第二種聚...

馬克於 2016-12-16 發表｜ 7371 次瀏覽
Big Data
30天學會Data Integration - Kettle 系列第 25 天

Job動態傳遞參數

延續上一篇，此篇將介紹如何動態傳遞參數給Job使用，介紹兩種方式：1.透過Kettle GUI傳遞參數2.透過Command Line傳遞參數 1.透過Kett...

juben 於 2017-01-09 發表｜ 7289 次瀏覽
Big Data
30天學會Data Integration - Kettle 系列第 8 天

查看Transformation執行結果

此篇將解說如何查看Transformation的執行結果，有利於我們更了解資料的處理方式與資料流的方向 Step Metrics Step Metrics頁籤會...

juben 於 2016-12-23 發表｜ 7205 次瀏覽
Big Data
Spark 2.0 in Scala 系列第 7 天

[Spark-Day7](基礎篇) Broadcast與透過Spark-submit遞交工作

還記不記得昨天用forExpression產生一個優雅的employees Set？並且用於UDF中？ val employees = Set() ++...

joechh 於 2016-12-22 發表｜ 7194 次瀏覽
Big Data
30天學會Data Integration - Kettle 系列第 13 天

Step - 處理日期的運算

此篇要介紹與數學運算有關的Step：[Transform]Calculator，顧名思義，就是計算機的功能，提供了很多現成的公式來套我們進行套用，後續介紹的St...

juben 於 2016-12-28 發表｜ 7188 次瀏覽
Big Data
我的資料科學之路系列第 26 天

[Day 24] Dimensional Reduction -- NMF

今天講講我拿來做碩士論文的一個演算法。大家或許都多多少少知道推荐系統，推荐系統需要蒐集大量的資料，像是在Amazon買書就會有哪位顧客買了哪一本書的資料。這樣...

杜岳華於 2017-01-10 發表｜ 7140 次瀏覽
Big Data
Spark 2.0 in Scala 系列第 18 天

[Spark-Day18](Spark Streaming篇)HDFS、Kafka環境設定

終於進入下一個主題：Spark Family的Spark Streaming篇~ 講解過程中要從一些外部系統接資料，特別是HDFS跟Kafka，所以免不了要提一...

joechh 於 2017-01-02 發表｜ 7119 次瀏覽