iT邦幫忙

dea-c01相關文章
共有 30 則文章

技術 【Day 1】 AWS Data Engineer Associate (DEA-C01) 證照簡介

作者背景 這次報名佛心分享組考照系列,單純分享自己的考照經驗;因為每個人的職能背景不同,所以先簡介自己的職能背景。 作者曾擔任軟體工程師,以後端、Linux系...

技術 【Day 2】 Data Engineering 的專有名詞與定義

隔行如隔山,在剛進入某某領域時,最惱人的大概就是聽不懂那些「行話」。在這個系列中,先把哪些常見的名詞蒐集在這篇文章中,並先記住最重要的精神,以利後續理解別人在講...

技術 【Day 4】 (Big) Data Analytics 資料分析的範疇

資料分析/大數據分析的定義 是「Analytics」? 還是「Analysis」? 在慣用中文思考的情況下,兩者都被稱為分析,是無法用中文來區分兩者差異。 然而...

技術 【Day 3】 S3 的相關知識

前一回介紹了關於 Data 系列的名詞後,可以得到以下粗略的行為:資料分析師的工作,打破資料藩籬、資料孤島,集中資料到資料湖,進行資料擷取、資料轉換、資料載入後...

技術 【Day 5】做題庫小試身手 - 1

題目 題庫 Questions Q1 A data engineer is configuring an AWS Glue job to read da...

技術 【Day 6】AWS Glue 的簡單介紹

大約在十幾年前,剛有 Big Data 的概念出現時,好多人都在講啤酒跟尿布,甚至是你各位的直銷好朋友(假面閨蜜)們。 那是一個辛苦的時代,工作站要自己組、系統...

技術 【Day 25】 做題庫小試身手 - 6

題目 題庫 Questions Q19 A data engineer must orchestrate a series of Amazon Athe...

技術 【Day 7】實作、以 Amazon S3 建立資料湖

今天是冷氣壞掉第三天,因為都在拆冷氣和洗機器,所以今天就來做點實作的部分。我想到一個很適合做的東西:參考今年度 iThome 的從一萬元開始交易:收割韭菜三十...

技術 【Day 15】 做題庫小試身手 - 2

題目 題庫 Questions Q4 A financial company wants to implement a data mesh. The d...

技術 【Day 18】 做題庫小試身手 - 3

題目 題庫 Questions Q7 A financial services company stores financial data in Ama...

技術 【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy

今天繼續實作的部分 在資料湖建立的初期,希望透過我的開發電腦,鐘去抓取行情。每一分鐘產出一個交易明細的檔案,上傳到資料湖中,以便後續進行分析。為了完成這件「...

技術 【Day 27】 做題庫小試身手 - 8

題目 題庫 Questions Q27 A company wants to implement real-time analytics capabil...

技術 【Day 21】 做題庫小試身手 - 5

題目 題庫 Questions Q15 A data engineer needs to securely transfer 5 TB of data...

技術 【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例

今天的內容是關於兩個 AWS 的服務。 CloudTrail 和 Athena。 簡介 CloudTrail 用一句話來描述這個東西: AWS 上的 Log...

技術 【Day 9】 製造資料給資料湖 / 成本分析

今天還是繼續實作的部分 已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?...

技術 【Day 12】 Relational Databases Service (RDS) 全託管關聯式資料庫服務

昨天說明了什麼是關聯式資料庫,今天接著來看 AWS 上的資料庫做法。 資料庫的系統 歸誰管? 在雲端上建置資料庫,根據資料庫管理者可以觸及的部分,粗略分成三種:...

技術 【Day 29】 做題庫小試身手 - 11

先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來,你還可以註冊 AWS Skill Builder 去看免費的課程,做免費題庫。(雖然根據...

技術 【Day 29】 做題庫小試身手 - 10

題目 題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...

技術 【Day 11】 關聯式資料庫的概念

首先,什麼是關聯式資料庫? 關聯式資料 所有的資料,都是由「欄」和「列」所構成一個「資料表」。 資料表之間有有相互的關聯。 表和表之間的關係,係透過「主鍵、P...

技術 【Day 20】 做題庫小試身手 - 4

題目 題庫 Questions Q11 A data engineer needs Amazon Athena queries to finish fa...

技術 【Day 16】 AWS Lambda Functions 的簡單介紹

如果只是想要執行一個簡單的程式碼,那麼 AWS Lambda / Google Cloud Functions / Azure Functions 就是你該認識...

技術 【Day 14】 資料倉儲 (Data Warehouse) 的概念

這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。 概念 「資料湖」和「資料倉庫/倉儲」的差異是什麼? 建議可以參考資料:...

技術 【Day 28】 做題庫小試身手 - 9

題目 題庫 Questions Q30 A company is migrating a legacy application to an Amazon...

技術 【Day 26】 做題庫小試身手 - 7

題目 題庫 Questions Q23 A company currently stores all of its data in Amazon S3...

技術 【Day 13】 NoSQL 非關連式資料庫的基本概念

前面兩回淺談了關聯式資料庫之後,這回來談談非關聯式資料庫 (NoSQL) 為什麼需要 NoSQL ? 一言以蔽之: 因為有些資料不太適合使用關聯式的方式進行記載...

技術 【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

RabbitMQ 是由 Rabbit 公司所開發。 不過因為公司被 VMware 收購再被 Broadcom 收購,是誰的好像不是那麼重要。 Apache Ka...

技術 【Day 23】 Amazon Kinesis Firehose 的簡單介紹

前一回,稍微看過了 Amazon Kinesis Data Streams,今天來說說另外一個也冠名 Kinesis 的服務 - Amazon Kinesis...

技術 【Day 17】 AWS 上的容器服務

現在已經 2024,距離 Docker Container 問世已經 11 年半了。 關於容器的優缺點和特性,可以參考先前我分享在 2022 的文章:【Day...

技術 【Day 22】 Amazon Kinesis Data Streams 的簡單介紹

在前面做題庫的部分,出現了關於 「Amazon Kinesis Data Streams」,所以今天來說說這個服務。 REF Amazon Kinesis...

技術 【Day 19】 Hadoop / Spark / Amazon EMR

考古 Hadoop 是在 2006 時,就已經問世的老東西了。 而大概在十年前的時候,Spark 針對記憶體的方面進行優化和改良,利用物理的方式超車了 Hado...