iT邦幫忙

dea-c01相關文章
共有 30 則文章

技術 【Day 1】 AWS Data Engineer Associate (DEA-C01) 證照簡介

作者背景 這次報名佛心分享組考照系列,單純分享自己的考照經驗;因為每個人的職能背景不同,所以先簡介自己的職能背景。 作者曾擔任軟體工程師,以後端、Linux系...

技術 【Day 2】 Data Engineering 的專有名詞與定義

隔行如隔山,在剛進入某某領域時,最惱人的大概就是聽不懂那些「行話」。在這個系列中,先把哪些常見的名詞蒐集在這篇文章中,並先記住最重要的精神,以利後續理解別人在講...

技術 【Day 4】 (Big) Data Analytics 資料分析的範疇

資料分析/大數據分析的定義 是「Analytics」? 還是「Analysis」? 在慣用中文思考的情況下,兩者都被稱為分析,是無法用中文來區分兩者差異。 然而...

技術 【Day 25】 做題庫小試身手 - 6

題目 題庫 Questions Q19 A data engineer must orchestrate a series of Amazon Athe...

技術 【Day 12】 Relational Databases Service (RDS) 全託管關聯式資料庫服務

昨天說明了什麼是關聯式資料庫,今天接著來看 AWS 上的資料庫做法。 資料庫的系統 歸誰管? 在雲端上建置資料庫,根據資料庫管理者可以觸及的部分,粗略分成三種:...

技術 【Day 3】 S3 的相關知識

前一回介紹了關於 Data 系列的名詞後,可以得到以下粗略的行為:資料分析師的工作,打破資料藩籬、資料孤島,集中資料到資料湖,進行資料擷取、資料轉換、資料載入後...

技術 【Day 27】 做題庫小試身手 - 8

題目 題庫 Questions Q27 A company wants to implement real-time analytics capabil...

技術 【Day 29】 做題庫小試身手 - 11

先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來,你還可以註冊 AWS Skill Builder 去看免費的課程,做免費題庫。(雖然根據...

技術 【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy

今天繼續實作的部分 在資料湖建立的初期,希望透過我的開發電腦,鐘去抓取行情。每一分鐘產出一個交易明細的檔案,上傳到資料湖中,以便後續進行分析。為了完成這件「...

技術 【Day 18】 做題庫小試身手 - 3

題目 題庫 Questions Q7 A financial services company stores financial data in Ama...

技術 【Day 21】 做題庫小試身手 - 5

題目 題庫 Questions Q15 A data engineer needs to securely transfer 5 TB of data...

技術 【Day 29】 做題庫小試身手 - 10

題目 題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...

技術 【Day 5】做題庫小試身手 - 1

題目 題庫 Questions Q1 A data engineer is configuring an AWS Glue job to read da...

技術 【Day 15】 做題庫小試身手 - 2

題目 題庫 Questions Q4 A financial company wants to implement a data mesh. The d...

技術 【Day 6】AWS Glue 的簡單介紹

大約在十幾年前,剛有 Big Data 的概念出現時,好多人都在講啤酒跟尿布,甚至是你各位的直銷好朋友(假面閨蜜)們。 那是一個辛苦的時代,工作站要自己組、系統...

技術 【Day 23】 Amazon Kinesis Firehose 的簡單介紹

前一回,稍微看過了 Amazon Kinesis Data Streams,今天來說說另外一個也冠名 Kinesis 的服務 - Amazon Kinesis...

技術 【Day 17】 AWS 上的容器服務

現在已經 2024,距離 Docker Container 問世已經 11 年半了。 關於容器的優缺點和特性,可以參考先前我分享在 2022 的文章:【Day...

技術 【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

RabbitMQ 是由 Rabbit 公司所開發。 不過因為公司被 VMware 收購再被 Broadcom 收購,是誰的好像不是那麼重要。 Apache Ka...

技術 【Day 7】實作、以 Amazon S3 建立資料湖

今天是冷氣壞掉第三天,因為都在拆冷氣和洗機器,所以今天就來做點實作的部分。我想到一個很適合做的東西:參考今年度 iThome 的從一萬元開始交易:收割韭菜三十...

技術 【Day 14】 資料倉儲 (Data Warehouse) 的概念

這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。 概念 「資料湖」和「資料倉庫/倉儲」的差異是什麼? 建議可以參考資料:...

技術 【Day 11】 關聯式資料庫的概念

首先,什麼是關聯式資料庫? 關聯式資料 所有的資料,都是由「欄」和「列」所構成一個「資料表」。 資料表之間有有相互的關聯。 表和表之間的關係,係透過「主鍵、P...

技術 【Day 16】 AWS Lambda Functions 的簡單介紹

如果只是想要執行一個簡單的程式碼,那麼 AWS Lambda / Google Cloud Functions / Azure Functions 就是你該認識...

技術 【Day 26】 做題庫小試身手 - 7

題目 題庫 Questions Q23 A company currently stores all of its data in Amazon S3...

技術 【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例

今天的內容是關於兩個 AWS 的服務。 CloudTrail 和 Athena。 簡介 CloudTrail 用一句話來描述這個東西: AWS 上的 Log...

技術 【Day 20】 做題庫小試身手 - 4

題目 題庫 Questions Q11 A data engineer needs Amazon Athena queries to finish fa...

技術 【Day 9】 製造資料給資料湖 / 成本分析

今天還是繼續實作的部分 已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?...

技術 【Day 28】 做題庫小試身手 - 9

題目 題庫 Questions Q30 A company is migrating a legacy application to an Amazon...

技術 【Day 13】 NoSQL 非關連式資料庫的基本概念

前面兩回淺談了關聯式資料庫之後,這回來談談非關聯式資料庫 (NoSQL) 為什麼需要 NoSQL ? 一言以蔽之: 因為有些資料不太適合使用關聯式的方式進行記載...

技術 【Day 19】 Hadoop / Spark / Amazon EMR

考古 Hadoop 是在 2006 時,就已經問世的老東西了。 而大概在十年前的時候,Spark 針對記憶體的方面進行優化和改良,利用物理的方式超車了 Hado...

技術 【Day 22】 Amazon Kinesis Data Streams 的簡單介紹

在前面做題庫的部分,出現了關於 「Amazon Kinesis Data Streams」,所以今天來說說這個服務。 REF Amazon Kinesis...