iT邦幫忙

data相關文章
共有 143 則文章
0 Like 0 留言 978 瀏覽
鐵人賽 AI & Data DAY 17
資料產品開發與專案管理 系列 第 17 篇

技術 [Day 17] 資料產品生命週期管理-輔助決策

如同前面所說，資料模型需要運用到實際環境中才會發揮價值 Initiation 延續之前模型的初始條件，如果想使用資料來輔助決策，最重要的就是要釐清想解決的問題是...

bryanyang0528 ‧ 2021-09-17
0 Like 0 留言 771 瀏覽
鐵人賽 AI & Data DAY 5
Data on Air - 以AWS服務實作雲端數據分析 系列 第 5 篇

技術 DAY 5 Big Data 5Vs – Volume(容量) - RedShift

相較於資料湖，另一個更常見的大數據儲存系統是 — 資料倉儲。和資料湖一樣，資料倉儲也用來儲存巨量資料，但一個明顯的區別是，它是儲存傳統常見的結構化資料，像是表格...

Krystal ‧ 2021-09-17
0 Like 0 留言 1116 瀏覽
鐵人賽 AI & Data DAY 16
資料產品開發與專案管理 系列 第 16 篇

技術 [Day 16] 資料產品生命週期管理-預測模型的部署與管理(MLOps)

昨天提到了怎麼開發預測模型，但模型絕對不是開發完就好，後續還有非常多的事情得做。 Deployment 模型在部署時真的非常麻煩。 Build 出來的模型往往...

bryanyang0528 ‧ 2021-09-16
0 Like 0 留言 647 瀏覽
鐵人賽 AI & Data DAY 4
Data on Air - 以AWS服務實作雲端數據分析 系列 第 4 篇

技術 DAY 4 Big Data 5Vs – Volume(容量) - S3+Lake Formation

S3無限制的容量與可存儲任何檔案類型的特性，讓它常常出現在近來當紅的應用場景 — 資料湖中。但單單一個很大的儲存服務並不等於資料湖，還需要搭配集中管理與安全存取...

Krystal ‧ 2021-09-16
0 Like 0 留言 950 瀏覽
鐵人賽 AI & Data DAY 15
資料產品開發與專案管理 系列 第 15 篇

技術 [Day 15] 資料產品生命週期管理-預測模型

儘管都是模型，但預測模型目的在於預測未來，所以開發方式也會和描述型模型有所差異。 Initiation 起始階段要確認的事情跟之前差不多。 商業意圖是否明確：商...

bryanyang0528 ‧ 2021-09-15
0 Like 0 留言 859 瀏覽
鐵人賽 AI & Data DAY 3
Data on Air - 以AWS服務實作雲端數據分析 系列 第 3 篇

技術 DAY 3 Big Data 5Vs – Volume(容量) - S3

如同軟體需要硬體，資料分析的基石就是資料儲存。在處理的過程中，資料(data)需要在長期或暫時性的儲存地之間轉換才能順利且有效得被處理。隨著軟硬體科技的進步，各...

Krystal ‧ 2021-09-15
0 Like 0 留言 1064 瀏覽
鐵人賽 AI & Data DAY 14
資料產品開發與專案管理 系列 第 14 篇

技術 [Day 14] 資料產品生命週期管理-描述型模型

特別把描述模型和預測模型分開來寫是因為兩者在開發與驗證階段有不小的差異。(https://ubiq.co/analytics-blog/create-opera...

bryanyang0528 ‧ 2021-09-14
0 Like 0 留言 932 瀏覽
鐵人賽 AI & Data DAY 2
Data on Air - 以AWS服務實作雲端數據分析 系列 第 2 篇

技術 Day 2 雲端上的資料流

雲端的分類 第一次點開AWS官網( https://aws.amazon.com/ )或許會有點眼花撩亂，因為在不同的使用場景，對雲端的分類會有不同的用法。維基...

Krystal ‧ 2021-09-14
0 Like 0 留言 1302 瀏覽
鐵人賽 AI & Data DAY 13
資料產品開發與專案管理 系列 第 13 篇

技術 [Day 13] 資料產品生命週期管理-加工資料（二）

接續上篇 介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。 Implment 設計原型 跟一般的軟體開發一樣，先從最關...

bryanyang0528 ‧ 2021-09-13
0 Like 0 留言 890 瀏覽
鐵人賽 AI & Data DAY 1
Data on Air - 以AWS服務實作雲端數據分析 系列 第 1 篇

技術 Day 1 為什麼要在雲端平台上做數據分析?

首先對本篇主題中的一些常見名詞與討論角度做基本的定義；建立共同的出發點以利文章閱讀，並直接破題回答，或許很多人看到標題會有得疑問 : 為什麼要在雲端平台上做數據...

Krystal ‧ 2021-09-13
0 Like 0 留言 1161 瀏覽
鐵人賽 AI & Data DAY 12
資料產品開發與專案管理 系列 第 12 篇

技術 [Day 12] 資料產品生命週期管理-加工資料（一）

加工資料泛指各種處理資料的行為，這部分要一篇文章寫完真滴難，所以就也只能蜻蜓點水的各介紹一點，讓大家有個整體的概觀。 Initiate 在啟動階段，目標當然是弄...

bryanyang0528 ‧ 2021-09-12
0 Like 0 留言 1356 瀏覽
鐵人賽 AI & Data DAY 11
資料產品開發與專案管理 系列 第 11 篇

技術 [Day 11] 資料產品生命週期管理-原始資料

不同類型的資料產品在其各自專案週期有需要注意的地方，以下我們將說明在處理原始資料時，各階段應該做的事情 Initiate 在初始階段，最重要的就是要了解搜集資料...

bryanyang0528 ‧ 2021-09-11
0 Like 0 留言 1046 瀏覽
鐵人賽 AI & Data DAY 10
資料產品開發與專案管理 系列 第 10 篇

技術 [Day 10] 每家公司都有資料產品

(https://www.manmonthly.com.au/news/graphene-helps-enhance-wear-resistance-minin...

bryanyang0528 ‧ 2021-09-10
0 Like 0 留言 1331 瀏覽
鐵人賽 AI & Data DAY 9
資料產品開發與專案管理 系列 第 9 篇

技術 [Day 9] 資料產品第五層 - 自動決策與 AI

資料的最終目的就是替代人力。 (https://qz.com/217199/softbanks-humanoid-robot-will-be-great-for...

bryanyang0528 ‧ 2021-09-09
0 Like 0 留言 1075 瀏覽
鐵人賽 AI & Data DAY 8
資料產品開發與專案管理 系列 第 8 篇

技術 [Day 8] 資料產品第四層 - 你會畫圖嗎？

前面我們花了好幾篇的篇幅在介紹原始資料、加工資料、資料模型，但這些都還沒有辦法讓資料真正發揮價值，要讓資料發揮價值一定是要將「資料」與「決策」相互結合。我們接下...

bryanyang0528 ‧ 2021-09-08
0 Like 0 留言 1160 瀏覽
鐵人賽 AI & Data DAY 7
資料產品開發與專案管理 系列 第 7 篇

技術 [Day 7] 資料產品第三層 - 預測模型

大部分的人對於資料開始產生興趣，不外乎就是因為想要預測未來。 (https://www.livebitcoinnews.com/bitcoin-price-an...

bryanyang0528 ‧ 2021-09-07
0 Like 0 留言 1284 瀏覽
鐵人賽 AI & Data DAY 6
資料產品開發與專案管理 系列 第 6 篇

技術 [Day 6] 資料產品第三層 - 描述性模型

這邊指的模型不只是最近很潮的機器學習或深度學習，而是廣泛指透過資料建立用來代表現實的抽象概念（白話來說就是一堆數學）。模型並不是資料本身，但好的模型會能表現資料...

bryanyang0528 ‧ 2021-09-06
0 Like 0 留言 1438 瀏覽
鐵人賽 AI & Data DAY 5
資料產品開發與專案管理 系列 第 5 篇

技術 [Day 5] 資料產品第二層 - 資料加工術 - 資料聚合

即便是相同原料經過不同師傅的手藝也會呈現不同的味道(昨天吃的游壽司) 當資料經過基本篩檢後，也會根據後續使用的需求將資料聚合（資料聚合就是將資料從細的顆粒度聚合...

bryanyang0528 ‧ 2021-09-05
0 Like 0 留言 1258 瀏覽
鐵人賽 AI & Data DAY 4
資料產品開發與專案管理 系列 第 4 篇

技術 [Day 4] 資料產品第二層 - 資料加工術 - 資料驗證與清洗

稻米就算採收，也無法直接食用，需要經過一系列的加工才能送到消費者的手裡。 (圖片來源：富里鄉農會) 這個流程跟加工資料的流程並沒有什麼太大的差異，常見的資料基...

bryanyang0528 ‧ 2021-09-04
0 Like 0 留言 1207 瀏覽
鐵人賽 AI & Data DAY 3
資料產品開發與專案管理 系列 第 3 篇

技術 [Day 3] 資料產品第一層 - 原始資料的類型

原始資料可能來自非常多不同的地方，我們可以根據資料產生的方式來加以分類 感應器資料 這邊泛指各種 Sensor 測量得到的資料。Sensor 是普遍用來將資訊資...

bryanyang0528 ‧ 2021-09-03
0 Like 0 留言 1559 瀏覽
鐵人賽 AI & Data DAY 2
資料產品開發與專案管理 系列 第 2 篇

技術 [Day 2] 資料產品第一層 - 原始資料

就像稻米之於米苔目，小麥之於麵疙瘩，原始資料就是任何資料產品最基礎的存在。 在研究所修讀統計的時候，教授常常掛在嘴邊的一句話就是「garbage in, ga...

bryanyang0528 ‧ 2021-09-02
0 Like 0 留言 2286 瀏覽
鐵人賽 AI & Data DAY 1
資料產品開發與專案管理 系列 第 1 篇

技術 [Day 1] 資料產品簡介

前言 大數據、AI 是這幾年的熱門議題，不管是公司還是客戶都會開始透過資料分析或機器學習來改善自家產品或業務。但是這幾年走下來不管是自己公司還是客戶，在這個資料...

bryanyang0528 ‧ 2021-09-01
0 Like 0 留言 763 瀏覽

技術 Buy Store Location Data: Best Store Database Provider 2021

Store location data is information about the geographical locations of retail bu...

webscraping ‧ 2021-01-27
1 Like 0 留言 3721 瀏覽
鐵人賽 自我挑戰組
AI 高中生的自我學習 系列 第 6 篇

技術 Day 6 - 目前(傳統)的機器學習三步驟(1)-收集數據

如前所言，假設 y是結果(如股票價格) , x是變數(如進料成本,薪資成本......等) , 以機器學習方法找出y與x的關係, y=f(x), 如此可預測未來...

Harry Lin ‧ 2020-12-06
0 Like 0 留言 5191 瀏覽
鐵人賽 AI & Data DAY 24
量化交易30天 系列 第 24 篇

技術 量化交易30天 Day24 - 投資組合概念(四) 效率前緣

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-10-07 ‧團隊Outcome First
1 Like 1 留言 16928 瀏覽
鐵人賽 AI & Data DAY 14
量化交易30天 系列 第 14 篇

技術 量化交易30天 Day14 - 串接券商API做交易(一) IB + IbPy

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-09-27 ‧團隊Outcome First
0 Like 0 留言 6556 瀏覽
鐵人賽 AI & Data DAY 13
量化交易30天 系列 第 13 篇

技術 量化交易30天 Day13 - backtrader回測框架實作(四) Observers模組

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-09-26 ‧團隊Outcome First
0 Like 0 留言 8009 瀏覽
鐵人賽 AI & Data DAY 12
量化交易30天 系列 第 12 篇

技術 量化交易30天 Day12 - backtrader回測框架實作(三)Sizers模組

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-09-25 ‧團隊Outcome First
0 Like 0 留言 8234 瀏覽
鐵人賽 AI & Data DAY 11
量化交易30天 系列 第 11 篇

技術 量化交易30天 Day11 - backtrader回測框架實作(二)唐奇安通道策略

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-09-24 ‧團隊Outcome First
0 Like 1 留言 24506 瀏覽
鐵人賽 AI & Data DAY 10
量化交易30天 系列 第 10 篇

技術 量化交易30天 Day10 - backtrader回測框架實作(一)均線交叉策略

量化交易30天本系列文章是紀錄一位量化交易新手的學習過程，除了基礎的Python語法不說明，其他金融相關的東西都會一步步地說明，希望讓更多想學習量化交易但是沒...

Sean Liu ‧ 2020-09-23 ‧團隊Outcome First
iThome鐵人賽
參賽組數
1123 組
團體組數
52 組
累計文章數
23096 篇
完賽人數
656 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 2018鐵人賽 javascript 2017鐵人賽 python windows php c# windows server linux css react 程式設計 vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙