技術 【Day 13】 NoSQL 非關連式資料庫的基本概念

前面兩回淺談了關聯式資料庫之後，這回來談談非關聯式資料庫 (NoSQL) 為什麼需要 NoSQL ? 一言以蔽之： 因為有些資料不太適合使用關聯式的方式進行記載...

技術 【Day 12】 Relational Databases Service (RDS) 全託管關聯式資料庫服務

昨天說明了什麼是關聯式資料庫，今天接著來看 AWS 上的資料庫做法。 資料庫的系統 歸誰管？ 在雲端上建置資料庫，根據資料庫管理者可以觸及的部分，粗略分成三種：...

技術 【Day 11】 關聯式資料庫的概念

首先，什麼是關聯式資料庫？ 關聯式資料 所有的資料，都是由「欄」和「列」所構成一個「資料表」。 資料表之間有有相互的關聯。 表和表之間的關係，係透過「主鍵、P...

技術 【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例

今天的內容是關於兩個 AWS 的服務。 CloudTrail 和 Athena。 簡介 CloudTrail 用一句話來描述這個東西： AWS 上的 Log...

技術 【Day 9】 製造資料給資料湖 / 成本分析

今天還是繼續實作的部分 已知目前泥趴趴企業設的軟體工程師，開發了行情資訊接收程式後，打算擷取行情，把「交易明細」寫進檔案中，再扔進湖裡。 為什麼要這麼做？...

技術 【Day 8】IAM 的基本觀念與配置： User, Role 和 Policy

今天繼續實作的部分 在資料湖建立的初期，希望透過我的開發電腦，鐘去抓取行情。每一分鐘產出一個交易明細的檔案，上傳到資料湖中，以便後續進行分析。為了完成這件「...

技術 【Day 7】實作、以 Amazon S3 建立資料湖

今天是冷氣壞掉第三天，因為都在拆冷氣和洗機器，所以今天就來做點實作的部分。我想到一個很適合做的東西：參考今年度 iThome 的從一萬元開始交易：收割韭菜三十...

技術 【Day 6】AWS Glue 的簡單介紹

大約在十幾年前，剛有 Big Data 的概念出現時，好多人都在講啤酒跟尿布，甚至是你各位的直銷好朋友（假面閨蜜）們。 那是一個辛苦的時代，工作站要自己組、系統...

技術 【Day 5】做題庫小試身手 - 1

題目 題庫 Questions Q1 A data engineer is configuring an AWS Glue job to read da...

技術 【Day 4】 (Big) Data Analytics 資料分析的範疇

資料分析/大數據分析的定義 是「Analytics」？ 還是「Analysis」？ 在慣用中文思考的情況下，兩者都被稱為分析，是無法用中文來區分兩者差異。 然而...

技術 【Day 3】 S3 的相關知識

前一回介紹了關於 Data 系列的名詞後，可以得到以下粗略的行為：資料分析師的工作，打破資料藩籬、資料孤島，集中資料到資料湖，進行資料擷取、資料轉換、資料載入後...

技術 【Day 2】 Data Engineering 的專有名詞與定義

隔行如隔山，在剛進入某某領域時，最惱人的大概就是聽不懂那些「行話」。在這個系列中，先把哪些常見的名詞蒐集在這篇文章中，並先記住最重要的精神，以利後續理解別人在講...

技術 【Day 1】 AWS Data Engineer Associate (DEA-C01) 證照簡介

作者背景 這次報名佛心分享組考照系列，單純分享自己的考照經驗；因為每個人的職能背景不同，所以先簡介自己的職能背景。 作者曾擔任軟體工程師，以後端、Linux系...