iT邦幫忙

2024 iThome 鐵人賽

DAY 7
0

今天是冷氣壞掉第三天,因為都在拆冷氣和洗機器,所以今天就來做點實作的部分。
我想到一個很適合做的東西:
參考今年度 iThome 的從一萬元開始交易:收割韭菜三十天,量化交易工作製作 的概念與精神,我們可以來蓋一個資料湖。

先建 S3 Bucket 沒放資料就不收錢,安啦。

建立 S3 / Bucket

  1. 根據把資料份在鄰近使用者端的習慣,通常都會在 東京香港新加坡 來建立 Bucket (儲存貯體? 我都叫他水桶)
  2. 我假設來考這個證照的人,都已經有 AWS 帳號了。
  3. 入口: https://ap-northeast-1.console.aws.amazon.com/s3/home?region=ap-northeast-1#
  4. 橘色按鈕 create bucket
    https://ithelp.ithome.com.tw/upload/images/20240921/20130149GiNs4CKcpL.png
  5. 取名字,如果撞名就換一個名字
    https://ithelp.ithome.com.tw/upload/images/20240921/20130149QDuNcats7A.png
  6. 其他的部分用預設值就可以了: 阻擋公開訪問、關閉 ACL ,沒有開版本控制
    https://ithelp.ithome.com.tw/upload/images/20240921/20130149TW3BgCYuaP.png
    https://ithelp.ithome.com.tw/upload/images/20240921/20130149V70KICIDMe.png

如何放資料

  1. 建議參考 AWS CLI 先在自己的開發環境裝起來
  2. 檢查自己是否正在使用 ROOT account ? 建議你不要直接用 ROOT 操作,很危險。
  3. 開啟一個新的 IAM user 或是 你已經有 IAM user 了。
    https://us-east-1.console.aws.amazon.com/iam/home?region=ap-northeast-1#/users/create
  4. 檢查他有沒有允許 Access keys 登入。
    https://ithelp.ithome.com.tw/upload/images/20240922/20130149QHBqmzWWsC.png

結論

  • 可以把資料丟上來了
  • 要注意,AWS CLI 或是 SDK 塞資料上來,API呼叫是要收錢的,所以如果可以用一條指令丟一百個個檔案,那會比用一百個指令分開呼叫一百次便宜。

上一篇
【Day 6】AWS Glue 的簡單介紹
下一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
系列文
老闆,外帶一份 AWS Certified Data Engineer13
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言