作者背景 這次報名佛心分享組考照系列,單純分享自己的考照經驗;因為每個人的職能背景不同,所以先簡介自己的職能背景。 作者曾擔任軟體工程師,以後端、Linux系...
隔行如隔山,在剛進入某某領域時,最惱人的大概就是聽不懂那些「行話」。在這個系列中,先把哪些常見的名詞蒐集在這篇文章中,並先記住最重要的精神,以利後續理解別人在講...
資料分析/大數據分析的定義 是「Analytics」? 還是「Analysis」? 在慣用中文思考的情況下,兩者都被稱為分析,是無法用中文來區分兩者差異。 然而...
前一回介紹了關於 Data 系列的名詞後,可以得到以下粗略的行為:資料分析師的工作,打破資料藩籬、資料孤島,集中資料到資料湖,進行資料擷取、資料轉換、資料載入後...
題目 題庫 Questions Q1 A data engineer is configuring an AWS Glue job to read da...
大約在十幾年前,剛有 Big Data 的概念出現時,好多人都在講啤酒跟尿布,甚至是你各位的直銷好朋友(假面閨蜜)們。 那是一個辛苦的時代,工作站要自己組、系統...
題目 題庫 Questions Q19 A data engineer must orchestrate a series of Amazon Athe...
今天是冷氣壞掉第三天,因為都在拆冷氣和洗機器,所以今天就來做點實作的部分。我想到一個很適合做的東西:參考今年度 iThome 的從一萬元開始交易:收割韭菜三十...
題目 題庫 Questions Q4 A financial company wants to implement a data mesh. The d...
題目 題庫 Questions Q7 A financial services company stores financial data in Ama...
今天繼續實作的部分 在資料湖建立的初期,希望透過我的開發電腦,鐘去抓取行情。每一分鐘產出一個交易明細的檔案,上傳到資料湖中,以便後續進行分析。為了完成這件「...
題目 題庫 Questions Q27 A company wants to implement real-time analytics capabil...
題目 題庫 Questions Q15 A data engineer needs to securely transfer 5 TB of data...
今天的內容是關於兩個 AWS 的服務。 CloudTrail 和 Athena。 簡介 CloudTrail 用一句話來描述這個東西: AWS 上的 Log...
今天還是繼續實作的部分 已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?...
昨天說明了什麼是關聯式資料庫,今天接著來看 AWS 上的資料庫做法。 資料庫的系統 歸誰管? 在雲端上建置資料庫,根據資料庫管理者可以觸及的部分,粗略分成三種:...
先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來,你還可以註冊 AWS Skill Builder 去看免費的課程,做免費題庫。(雖然根據...
題目 題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...
首先,什麼是關聯式資料庫? 關聯式資料 所有的資料,都是由「欄」和「列」所構成一個「資料表」。 資料表之間有有相互的關聯。 表和表之間的關係,係透過「主鍵、P...
題目 題庫 Questions Q11 A data engineer needs Amazon Athena queries to finish fa...
如果只是想要執行一個簡單的程式碼,那麼 AWS Lambda / Google Cloud Functions / Azure Functions 就是你該認識...
這篇針對 Data Warehouse 的名詞做些解釋,和先前提到的名詞進行比較。 概念 「資料湖」和「資料倉庫/倉儲」的差異是什麼? 建議可以參考資料:...
題目 題庫 Questions Q30 A company is migrating a legacy application to an Amazon...
題目 題庫 Questions Q23 A company currently stores all of its data in Amazon S3...
前面兩回淺談了關聯式資料庫之後,這回來談談非關聯式資料庫 (NoSQL) 為什麼需要 NoSQL ? 一言以蔽之: 因為有些資料不太適合使用關聯式的方式進行記載...
RabbitMQ 是由 Rabbit 公司所開發。 不過因為公司被 VMware 收購再被 Broadcom 收購,是誰的好像不是那麼重要。 Apache Ka...
前一回,稍微看過了 Amazon Kinesis Data Streams,今天來說說另外一個也冠名 Kinesis 的服務 - Amazon Kinesis...
現在已經 2024,距離 Docker Container 問世已經 11 年半了。 關於容器的優缺點和特性,可以參考先前我分享在 2022 的文章:【Day...
在前面做題庫的部分,出現了關於 「Amazon Kinesis Data Streams」,所以今天來說說這個服務。 REF Amazon Kinesis...
考古 Hadoop 是在 2006 時,就已經問世的老東西了。 而大概在十年前的時候,Spark 針對記憶體的方面進行優化和改良,利用物理的方式超車了 Hado...