iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Data on Air - 以AWS服務實作雲端數據分析 系列

讓"人人都是數據分析師"不再只是農場文章標題,
介紹為什麼與如何選用AWS雲端資源;
實踐利用雲端平台處理大小量資料,
體會在巨人們的肩膀上看得更廣更遠!

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1 為什麼要在雲端平台上做數據分析?

首先對本篇主題中的一些常見名詞與討論角度做基本的定義;建立共同的出發點以利文章閱讀,並直接破題回答,或許很多人看到標題會有得疑問 : 為什麼要在雲端平台上做數據...

2021-09-13 ‧ 由 Krystal 分享
DAY 2

Day 2 雲端上的資料流

雲端的分類 第一次點開AWS官網( https://aws.amazon.com/ )或許會有點眼花撩亂,因為在不同的使用場景,對雲端的分類會有不同的用法。維基...

2021-09-14 ‧ 由 Krystal 分享
DAY 3

DAY 3 Big Data 5Vs – Volume(容量) - S3

如同軟體需要硬體,資料分析的基石就是資料儲存。在處理的過程中,資料(data)需要在長期或暫時性的儲存地之間轉換才能順利且有效得被處理。隨著軟硬體科技的進步,各...

2021-09-15 ‧ 由 Krystal 分享
DAY 4

DAY 4 Big Data 5Vs – Volume(容量) - S3+Lake Formation

S3無限制的容量與可存儲任何檔案類型的特性,讓它常常出現在近來當紅的應用場景 — 資料湖中。但單單一個很大的儲存服務並不等於資料湖,還需要搭配集中管理與安全存取...

2021-09-16 ‧ 由 Krystal 分享
DAY 5

DAY 5 Big Data 5Vs – Volume(容量) - RedShift

相較於資料湖,另一個更常見的大數據儲存系統是 — 資料倉儲。和資料湖一樣,資料倉儲也用來儲存巨量資料,但一個明顯的區別是,它是儲存傳統常見的結構化資料,像是表格...

2021-09-17 ‧ 由 Krystal 分享
DAY 6

DAY 6 Big Data 5Vs – Volume(容量) – Redshift Spectrum

大量的資料勢必可能來自不同資料源,在結構化資料庫的世界常用的就是聯合查詢。那如果我的資料不全都在結構化資料庫呢?介紹到現在許多人一定會想到強大的儲存系統S3,如...

2021-09-18 ‧ 由 Krystal 分享
DAY 7

DAY 7 Big Data 5Vs – Volume(容量) — Lake House & Database

如果有疑惑說:資料湖與資料倉儲該如何選擇呢?其實它們並不衝突。因為存放的資料不同,可以做的分析也不同,所以資料湖更像是資料倉儲的延伸,感謝分析技術的進步,現在可...

2021-09-19 ‧ 由 Krystal 分享
DAY 8

DAY 8 Big Data 5Vs – Velocity(多樣性) 資料結構

第二個「V」要思考的數據問題是多樣性Velocity,資料的格式有千百種,從數不完的副檔名就知道。軟體的蓬勃發展與進步產生出了形形色色的資料,每種資料格式也都各...

2021-09-20 ‧ 由 Krystal 分享
DAY 9

DAY 9 Big Data 5Vs – Velocity(多樣性) RDS

Amazon Relational Database Service (RDS) 是AWS中為「結構化資料」所準備的關聯式資料庫受管服務(Managed Ser...

2021-09-21 ‧ 由 Krystal 分享
DAY 10

DAY 10 Big Data 5Vs – Velocity(多樣性) DynamoDB

對於「半結構化」類型的資料可以存放至NoSQL 資料庫*之中。NoSQL 資料庫常見於需要較快寫入速度的應用場景;半結構化資料本身少了關聯式資料庫那種schem...

2021-09-22 ‧ 由 Krystal 分享