iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 1489 瀏覽

鐵人賽 AI & Data DAY 24

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 24 篇

技術【Day 24】實作 - 創建 AWS Kinesis Data Firehose for WAF

今天我們要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』，Data Analytics Pipeline 如下圖所示：再做這個實作之前，大家要先...

Dorothy ‧ 2021-10-08

1 Like 0 留言 4054 瀏覽

鐵人賽 Security DAY 26

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 26 篇

技術 Day 26: KMS/Cloud HSM/Secrets Manager 傻傻分不清楚

如果你有考過 AWS security specialty 證照你一定很常看到KMS/CloudHSM/Secrets Manager 這三個名詞，很多人搞不太...

Tonychung0216 ‧ 2021-10-08

0 Like 0 留言 866 瀏覽

鐵人賽 AI & Data DAY 26

Data on Air - 以AWS服務實作雲端數據分析系列第 26 篇

技術 DAY 26 Big Data 5Vs – Veracity(準確性) AGQ

延伸介紹昨天的架構：如果要對Log做視覺化的分析監控，許多人第一個想到的或許就是ELK架構*。這三個字母分別是指Elasticsearch、Logstash...

Krystal ‧ 2021-10-08

0 Like 0 留言 651 瀏覽

鐵人賽 AI & Data DAY 25

Data on Air - 以AWS服務實作雲端數據分析系列第 25 篇

技術 DAY 25 Big Data 5Vs – Veracity(準確性) Athena(2)

如同近年被熱烈討論的微服務架構* 與 CQRS架構*，AWS上推廣的資料分析原則之一也是建議要將資料儲存與資料處理解耦，白話意思就是儲存資料由專門的系統負責...

Krystal ‧ 2021-10-07

0 Like 0 留言 1151 瀏覽

鐵人賽 Security DAY 25

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 25 篇

技術 Day 25: Macie 簡介及操作

What is Amazon Macie?Macie是一項全代管的服務，它透過機器學習來辨別你的S3 bucket裡面是否含有PII(personally id...

Tonychung0216 ‧ 2021-10-07

2 Like 0 留言 3227 瀏覽

鐵人賽 AI & Data DAY 23

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 23 篇

技術【Day 23】 AWS Kinesis - Data Streams vs Data Firehose 兩者差異

前幾天我們已經啟用 VPC Flow Log、CloudFront Log，接下來我們就是要來實作 - 『如何啟用 WAF 日誌以及匯入 BI 進行分析』，Da...

Dorothy ‧ 2021-10-07

0 Like 0 留言 944 瀏覽

鐵人賽 DevOps DAY 27

運用皮毛技術與 AWS 平台、打造雲端蘿蔔服務三十天系列第 27 篇

技術【Day 27】差點被我遺忘的 x AWS RDS on Outpost x 雲端資料庫儲存

tags: 鐵人賽 AWS RDS Outposts database 前情提要差點就跟蔡琴一樣，那一段被遺忘的 RDS ... 前面幾天都在 Out...

二坪山小弱砲 ‧ 2021-10-06

1 Like 0 留言 1108 瀏覽

鐵人賽 AI & Data DAY 22

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 22 篇

技術【Day 22】實作 - 如何在 AWS Quicksight Join 不同資料源

大家午安 ~ 剛剛打開介面發文時，看到有 iThome 邦友訂閱文章，真的是無比開心 Q 感謝大家的不嫌棄昨天我們已經『啟用 CloudFront...

Dorothy ‧ 2021-10-06

0 Like 0 留言 863 瀏覽

鐵人賽 AI & Data DAY 24

Data on Air - 以AWS服務實作雲端數據分析系列第 24 篇

技術 DAY 24 Big Data 5Vs – Veracity(準確性) Athena(1)

第四個要討論的V是準確性Veracity，在資料處理的過程中，資料會從原本的原始資料raw data經過不同軟體的轉置、擷取、篩選等運算，處理後資料proces...

Krystal ‧ 2021-10-06

0 Like 0 留言 1169 瀏覽

鐵人賽 Security DAY 24

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 24 篇

技術 Day 24: Data Protection on AWS

在新聞中，最常見的資安事件，就是資料外洩的問題，而通常會發生這類型的事件不外乎就是未將資料或是其他基礎設施設定加密。在AWS上面，資料保護主要分為以下三個項目:...

Tonychung0216 ‧ 2021-10-06

0 Like 0 留言 1430 瀏覽

鐵人賽 DevOps DAY 26

運用皮毛技術與 AWS 平台、打造雲端蘿蔔服務三十天系列第 26 篇

技術【Day 26】S3 on AWS Outpost 限制與建置流程

tags: 鐵人賽 AWS S3 Outposts S3 Bucket 前言昨天我們成功把 K8S 的資源，部署到 AWS Outpost EKS 環境中。...

二坪山小弱砲 ‧ 2021-10-05

0 Like 0 留言 1239 瀏覽

技術為何會有分散式架構的出現？

影片連結：https://bit.ly/3B3r9bu 內容摘要：大家常常聽到分散式架構，但到底什麼是分散式架構？又為何我們需要它？這邊我們透過簡單易...

用圖片高效學程式 ‧ 2021-10-05

1 Like 0 留言 1228 瀏覽

鐵人賽 AI & Data DAY 21

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 21 篇

技術【Day 21】實作 - 啟用 AWS CloudFront 日誌

前幾天我們已經將 AWS VPC 日誌啟用並將其資料轉換讓 BI 工具可以進行視覺化儀表板的建置，那 VPC 日誌可能無法包含所有你想要分析的欄位，必須『蒐集多...

Dorothy ‧ 2021-10-05

0 Like 0 留言 825 瀏覽

鐵人賽 AI & Data DAY 23

Data on Air - 以AWS服務實作雲端數據分析系列第 23 篇

技術 DAY 23 Big Data 5Vs – Variety(速度) Kinesis (3)

接續串流處理相關的服務介紹： Kinesis Data Firehose(KDF)：KDF是可以方便將串流資料以近乎即時(near real-time)的速度「...

Krystal ‧ 2021-10-05

0 Like 0 留言 1787 瀏覽

鐵人賽 Security DAY 23

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 23 篇

技術 Day 23: WAF web ACL、rules group建立

如何建立Web ACL?1.找到WAF，按Create web ACL 2.輸入名稱、Cloudwatch metric 名稱(這兩個名稱之後無法更改)；Res...

Tonychung0216 ‧ 2021-10-05

0 Like 1 留言 2491 瀏覽

鐵人賽 IT管理 DAY 30

無限手套 AWS 版：掌控一切的 5 + 1 雲端必學主題系列第 30 篇

技術 Day 30 整合寶石：【Lab】建構三層式雲端架構 (EC2+VPC+S3+RDS+IAM) (下)

本文將繼上篇【Lab】建構三層式雲端架構(上)，實作下半部分的內容，包含檔案控管、RDS/EC2/S3 的節省成本、備份還原與資源清理。預防誤刪想預防有...

用圖片高效學程式 ‧ 2021-10-05

0 Like 0 留言 841 瀏覽

鐵人賽 DevOps DAY 22

關於我幫新公司建立整套部屬流程那檔事系列第 22 篇

技術 EP22 - 持續部署使用 Octopus Deploy 二部曲，安裝 Octopus Deploy

昨天我們耗盡洪荒之力，終於用 terraform 配置好整個基礎設施，今天我們將繼續環境操作，不過環境的部分，會是以軟體安裝為主，即使已經是在 Windows...

mark_mew ‧ 2021-10-04

0 Like 0 留言 1632 瀏覽

鐵人賽 DevOps DAY 25

運用皮毛技術與 AWS 平台、打造雲端蘿蔔服務三十天系列第 25 篇

技術【Day 25】建立 EKS on Outpost 的步驟(下)

tags: 鐵人賽 AWS Outposts EKS Kubernetes 前情提要昨天把 EKS control plane 建好了今天要做的事情大概有...

二坪山小弱砲 ‧ 2021-10-04

2 Like 0 留言 1240 瀏覽

鐵人賽 AI & Data DAY 20

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 20 篇

技術【Day 20】實作 - 於 AWS Quicksight 建立 Sankey diagram 以及設定 Action

昨天我們已經透過 AWS Glue Job 來調整 Partition 分區結構以及將此格式轉換成 Parquet以加快查詢速度。今天我們則會來使用 AWS Q...

Dorothy ‧ 2021-10-04

0 Like 0 留言 1906 瀏覽

鐵人賽 Software Development DAY 19

Laravel 新手初見 API 系列第 19 篇

技術 Day19-部署篇（一）Amazon EC2

大家好～接下來要把我們的 Echo bot 部署上 Amazon EC2 啦～ Amazon EC2 會員註冊就不多做說明啦，就從開一台新的 EC2 開始吧！...

Rui ‧ 2021-10-04 ‧團隊好想工作室V5.0

0 Like 0 留言 980 瀏覽

鐵人賽 AI & Data DAY 22

Data on Air - 以AWS服務實作雲端數據分析系列第 22 篇

技術 DAY 22 Big Data 5Vs – Variety(速度) Kinesis (2)

接續介紹Kinesis家族中其它更實用的資料分析服務：進入Kinesis服務首頁可以看到這三個常常整合在一起的服務 Kinesis Data Stream(K...

Krystal ‧ 2021-10-04

0 Like 0 留言 960 瀏覽

鐵人賽 AI & Data DAY 19

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 19 篇

技術 Day19 NiFi - 與 AWS SNS & AWS SQS 對接設定

今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS，一樣就有原生的 Processor 就可做操作了，所以也不會到非常複雜。 SNS...

Mars Su ‧ 2021-10-04

0 Like 0 留言 2929 瀏覽

鐵人賽 IT管理 DAY 29

無限手套 AWS 版：掌控一切的 5 + 1 雲端必學主題系列第 29 篇

技術 Day 29 整合寶石：【Lab】建構三層式雲端架構 (EC2+VPC+S3+RDS+IAM) (上)

(轉眼間到最後兩天，發現想談及的主題談不完，所以最後這兩篇整合寶石的文章會特別長～，因為如果照之前的量切分的話，這兩天會是五天的量，但那就超過 30 天了。)...

用圖片高效學程式 ‧ 2021-10-04

0 Like 0 留言 2518 瀏覽

鐵人賽 Security DAY 22

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 22 篇

技術 Day22: WAF、Firewall Manager、Shield簡介

What is WAF?上一篇其實有簡單帶到，WAF可以幫你阻擋掉帶有HTTP/HTTPS開頭的L7攻擊，並可以結合 Amazon CloudFront, Am...

Tonychung0216 ‧ 2021-10-04

0 Like 1 留言 1005 瀏覽

鐵人賽 DevOps DAY 24

運用皮毛技術與 AWS 平台、打造雲端蘿蔔服務三十天系列第 24 篇

技術【Day 24】建立 EKS on Outpost 的步驟(上)

tags: 鐵人賽 AWS Outposts EKS Kubernetes 前情提要昨天稍微提及了關於 EKS 和 EKS on Outpost 的限制今...

二坪山小弱砲 ‧ 2021-10-03

0 Like 0 留言 1253 瀏覽

鐵人賽 DevOps DAY 21

關於我幫新公司建立整套部屬流程那檔事系列第 21 篇

技術 EP21 - 持續部署使用 Octopus Deploy 首部曲，建置 Octopus 基礎設施

在第十天的時候，我們使用 AWS CodeDeploy 部署到 EC2，當時只有陽春版的部署，我們做了大費周章的設定，但是卻無法知道是否部署成功，即便官方有提供...

mark_mew ‧ 2021-10-03

0 Like 0 留言 1375 瀏覽

鐵人賽 AI & Data DAY 18

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列第 18 篇

技術 Day18 NiFi - 與 AWS Athena & AWS Redshift 對接設定

今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料，其實兩個設定都很類似，怎麼說呢？讓我們繼續看下去。 Athena...

Mars Su ‧ 2021-10-03

1 Like 0 留言 1237 瀏覽

鐵人賽 AI & Data DAY 19

Data on AWS - 實作建立 Data Analytics Pipeline 系列第 19 篇

技術【Day 19】實作 - 透過 AWS 服務 Glue Job 調整 Partition 以及檔案格式

昨天我們已經透過 AWS Glue Crawler 自動建立 VPC Log 資料表，並且我們也看到 AWS Glue Crawler 業已依據資料夾切立 Pa...

Dorothy ‧ 2021-10-03

0 Like 0 留言 1281 瀏覽

鐵人賽 Security DAY 21

你用雲端，還敢談資安?AWS資安服務佈署之路系列第 21 篇

技術 Day21: Infrastructure Protection on AWS

接下來我們進入到五大面向的第三個面向:基礎設施保護。基礎設施保護是雲端資安計劃的關鍵部分，它可以確保您的工作負載中的系統和服務免受意外和未經授權的存取以及暴露...

Tonychung0216 ‧ 2021-10-03

0 Like 0 留言 1388 瀏覽

鐵人賽 IT管理 DAY 28

無限手套 AWS 版：掌控一切的 5 + 1 雲端必學主題系列第 28 篇

技術 Day 28 權限寶石：IAM Role 建立與使用

今天我們要來介紹 IAM Role 的實作示範，那我們開始吧! 首先使用 Admin 登入，進入 Conole 頁面搜尋 IAM 並點擊，如下圖: 創建 IA...

用圖片高效學程式 ‧ 2021-10-03

技術 【Day 24】 實作 - 創建 AWS Kinesis Data Firehose for WAF