iT邦幫忙

鐵人檔案

2014 iT 邦幫忙鐵人賽
回列表

建構自己的BigData 系列

BigData 是流行的話題, 如何DIY自己的BigData, 是件有趣的事

鐵人鍊成 | 共 31 篇文章 | 11 人訂閱 訂閱系列文 RSS系列文
DAY 1

建構自己的BigData(1)-前言

我們要建構建構自己的BigData, 首先要思考建構的數據從哪裡來? 這些數據, 有沒有規則? 用在哪個平台上? 所以要由大部分使用者角度出發, 才能解決每個人...

2014-09-30 ‧ 由 thomastseng 分享
DAY 2

建構自己的BigData(2)-安裝MariaDB

1.首先到https://mariadb.org/ 2.點選右上角Download , 再進入畫面選擇Stable最新版 3.選擇Windows 64位元...

2014-10-01 ‧ 由 thomastseng 分享
DAY 2

建構自己的BigData(3)-安裝HeidiSQL

MariaDB 自己沒有GUI, 現在包了HeidiSQL, 安裝好了後在桌面會出現這個圖式, 我們來打開他 用原來連線MySQL的方式, 連線就可以 打...

2014-10-01 ‧ 由 thomastseng 分享
DAY 3

建構自己的BigData(4)-安裝MongoDB-1

1.NoSQL 資料庫的安裝, 我們選的是MongoDB, 官網是 http://www.mongodb.org/ 選擇Download 後進入畫面, 選...

2014-10-02 ‧ 由 thomastseng 分享
DAY 4

建構自己的BigData(4)-安裝MongoDB-2

1.安裝好之後, 到預設目錄, 跑mongod , 會產生錯誤. 可以看error , 她寫沒有 dbpath \data\db 這個目錄 2.所以我們去建...

2014-10-03 ‧ 由 thomastseng 分享
DAY 5

建構自己的BigData(5)- 安裝Visual Studio 2013 Express

我們選擇用C#作為處理抓取資料的語言, 是因為網路上C#資源比較多. 1.到 http://www.visualstudio.com/downloads/d...

2014-10-04 ‧ 由 thomastseng 分享
DAY 6

建構自己的BigData(6)-HTML Parser

一個朋友說, 要收集資料變為數據, 收股市的資料最多. 1.所以我們來到奇摩股市, 股票代號打 2330 . 網址出現 https://tw.stock.yah...

2014-10-05 ‧ 由 thomastseng 分享
DAY 7

建構自己的BigData(7)-第一個程式-1

6 1.開啟Visual Studio 2013 2.打開後選擇新增檔案, 型態選C#裏的Windows應用程式, 名稱設Stock. 增加一個Butto...

2014-10-06 ‧ 由 thomastseng 分享
DAY 8

建構自己的BigData(8)-第一個程式-2

1.接者昨天處理好 using HtmlAgilityPack 之後,程式又出現HtmlDocument問題, 因為她不知道是從哪一個繼承,我們將HtmlDo...

2014-10-07 ‧ 由 thomastseng 分享
DAY 9

建構自己的BigData(9)-定時器設計

1.如果我們抓的是收盤價, 其實只要在收盤後的時間抓一次就好, 所以我們需要像定時器設計,讓程式處理. 在C#裡有個Timer, 將它抓到桌面 2.找到 T...

2014-10-08 ‧ 由 thomastseng 分享