iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 1380 瀏覽

鐵人賽 AI & Data DAY 11

開始你的數據分析之路 - 資料ETL & 視覺化系列第 11 篇

技術 Day11_[tableau prep]分析類型的其他函式(TRIM)

Hi, day11要來介紹tableau prep中的TRIM函式,這個函式可以去除字串前面&後面的空格, 在遇到需要處理字串長度的狀況可以使用到 TR...

eseries116 ‧ 2022-09-12

0 Like 0 留言 1543 瀏覽

鐵人賽 AI & Data DAY 10

開始你的數據分析之路 - 資料ETL & 視覺化系列第 10 篇

技術 Day10_[tableau prep]樞紐資料pivot

Day10我們來看另一個tableau prep的主要功能之一, 樞紐資料(pivot), 何謂樞紐資料?在處理資料的過程, 以常見的表格來說,人們傾向於表格是...

eseries116 ‧ 2022-09-11

0 Like 0 留言 1281 瀏覽

鐵人賽 AI & Data DAY 9

開始你的數據分析之路 - 資料ETL & 視覺化系列第 9 篇

技術 Day9_[tableau prep]聯結資料join

Day9我們來聊聊甚麼是聯結資料(join) 聯結資料意思是兩個表格之間有至少一個或以上的欄位是有關連(相同)性的, 那麼就可以透過有關連性的欄位將資料表格橫向...

eseries116 ‧ 2022-09-10

0 Like 0 留言 1426 瀏覽

鐵人賽 AI & Data DAY 8

開始你的數據分析之路 - 資料ETL & 視覺化系列第 8 篇

技術 Day8_[tableau prep]彙總資料aggregate

Day8來講講彙總資料aggregate是甚麼吧在我們整理完資料後, 資料會一列一列的呈現出來, 例如範例資料可以看到我們整理出來的表格有交易日, STORE...

eseries116 ‧ 2022-09-09

0 Like 0 留言 2131 瀏覽

鐵人賽 AI & Data DAY 7

開始你的數據分析之路 - 資料ETL & 視覺化系列第 7 篇

技術 Day7_[tableau prep]聯集資料union

Day7我們一起來看在tableau prep中的主要處理方式之一聯集資料(union) 所謂的聯集意思是, 將不同的資料表格中, 把這些表格上下連接成一個表格...

eseries116 ‧ 2022-09-08

0 Like 0 留言 1998 瀏覽

鐵人賽 AI & Data DAY 6

開始你的數據分析之路 - 資料ETL & 視覺化系列第 6 篇

技術 Day6_[tableau prep]正則表達式

Hi, day6讓我們來談談甚麼是正則表達式吧, 在資料處理的過程中, 我們難免會遇到資料非常髒亂的狀況, 但是在電腦的理解中, 有一個很特別的方式, 名稱叫做...

eseries116 ‧ 2022-09-07

0 Like 0 留言 1631 瀏覽

鐵人賽 AI & Data DAY 5

開始你的數據分析之路 - 資料ETL & 視覺化系列第 5 篇

技術 Day5_[tableau prep]數字欄位處理

Hi, day5我們一起來看看, 遇到數字格式的欄位時, 在實務需求中會怎麼處理吧! 情境1：資料欄位FEE中, 有null值, 負數值, 正數值, 非null...

eseries116 ‧ 2022-09-06

0 Like 0 留言 2073 瀏覽

鐵人賽 AI & Data DAY 4

開始你的數據分析之路 - 資料ETL & 視覺化系列第 4 篇

技術 Day4_[tableau prep]字串欄位處理

Hi, day4我們接著來介紹, 若遇到字串欄位時, 在實務中遇到需求可以怎麼處理, 情境1：資料欄位STORE_CITY, 當中包含了各縣市名稱, 若今天需求...

eseries116 ‧ 2022-09-05

0 Like 0 留言 1911 瀏覽

鐵人賽 AI & Data DAY 3

開始你的數據分析之路 - 資料ETL & 視覺化系列第 3 篇

技術 Day3_[tableau prep]時間日期欄位處理

Hi, 今日要來介紹如何處理日期時間欄位, 首先將範例資料載入到tableau prep中, 我們點選 + 符號, 可以看到有很多步驟可以選擇, 我們的需求是要...

eseries116 ‧ 2022-09-04

0 Like 0 留言 1587 瀏覽

鐵人賽 AI & Data DAY 2

開始你的數據分析之路 - 資料ETL & 視覺化系列第 2 篇

技術 Day2_[tableau prep]匯入資料

Hi, 在介紹今天的主題前,先說明何謂資料ETL, 也是此系列文的主題名稱有提到的 E(extract擷取)：將原始資料從server端或本地端匯入暫存處(ta...

eseries116 ‧ 2022-09-03

0 Like 0 留言 1886 瀏覽

鐵人賽 AI & Data DAY 1

開始你的數據分析之路 - 資料ETL & 視覺化系列第 1 篇

技術 Day1_tableau prep介紹

Hi, 又來到了自虐的第二年參加鐵人賽XD今年計畫介紹兩個目前於我的現職工作中常用的tableau軟體,分別是tableau prep & tablea...

eseries116 ‧ 2022-09-02

0 Like 0 留言 1719 瀏覽

鐵人賽 AI & Data DAY 30

資料產品開發與專案管理系列第 30 篇

技術 [Day 30] 資料產品開發實務 - 完結撒花！

終於撐完三十天啦啊啊啊啊！！！沒想到自己有一天也能完成這個壯舉（拭淚），真的太敬佩各路大神以及前輩了Orz，也非常感謝各位讀者的支持，不管是幫忙點擊、按讚、分享...

bryanyang0528 ‧ 2021-09-30

0 Like 0 留言 2297 瀏覽

鐵人賽 AI & Data DAY 29

資料產品開發與專案管理系列第 29 篇

技術 [Day 29] 資料產品開發實務 - 自動貼標系統

「懶惰是進步的原動力」科技的進步降低了許多事情的門檻，例如過去要會換牌檔才能開車，現在基本上就自排；過去要會打字才能用電腦傳訊息，現在除了打字還可以語音傳圖片...

bryanyang0528 ‧ 2021-09-29

0 Like 0 留言 2481 瀏覽

鐵人賽 AI & Data DAY 28

資料產品開發與專案管理系列第 28 篇

技術 [Day 28] 資料產品開發實務 - 非機器學習模型

模型當然也有純理論的介紹方法，但實務上是很難單談模型的，今天這篇會介紹過去常用、也滿泛用的不需要使用機器模型的分析手法以及對應的商業需求。人口描述 (http...

bryanyang0528 ‧ 2021-09-28

0 Like 0 留言 4219 瀏覽

鐵人賽 AI & Data DAY 27

資料產品開發與專案管理系列第 27 篇

技術 [Day 27] 資料產品開發實務 - 加工資料 - ETL 開發流程

介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。但是不同的 ETL 程式又可以使用類似的系統或架構來幫助開發和管理。...

bryanyang0528 ‧ 2021-09-27

0 Like 0 留言 918 瀏覽

鐵人賽 AI & Data DAY 15

Data on Air - 以AWS服務實作雲端數據分析系列第 15 篇

技術 DAY 15 Big Data 5Vs – Variety(速度) Glue(3) Glue Studio

在資料分析的過程中，花最多時間的事就是在理出資料處理的邏輯，要花很多時間與資料互動，就像第二天提到資料探勘流程中的三個階段：資料準備（Data Preparat...

Krystal ‧ 2021-09-27

0 Like 0 留言 1484 瀏覽

鐵人賽 AI & Data DAY 26

資料產品開發與專案管理系列第 26 篇

技術 [Day 26] 資料產品開發實務 - 原始資料 - Event Tracking

前面說了那麼多理論，最後幾天來寫一下開發實務吧！今天要介紹的是怎麼收集 App 使用者行為資料。 Initiate 追蹤事件是需要成本的，這些成本包括開發、蒐集...

bryanyang0528 ‧ 2021-09-26

0 Like 0 留言 928 瀏覽

鐵人賽 AI & Data DAY 25

資料產品開發與專案管理系列第 25 篇

技術 [Day 25] 資料產品在評估階段的五個大坑

在評估階段有幾件面向需要注意資料產品品質資料產品品質是需要持續監控和評估的。不同層的資料產品有不同的品質指標，基本上很難一次到位，需要持續增加觀察的指標。例...

bryanyang0528 ‧ 2021-09-25

0 Like 0 留言 1560 瀏覽

鐵人賽 AI & Data DAY 24

資料產品開發與專案管理系列第 24 篇

技術 [Day 24] 資料產品在部署階段的五個大坑

上線之後才是開始。第一坑開發和部署環境不一致如果一開始開發和部署沒有「喬好」環境的話，那上線的過程可是會吃一番苦頭。例如搞不清楚環境有哪些套件，只好正式環...

bryanyang0528 ‧ 2021-09-24

0 Like 0 留言 1108 瀏覽

鐵人賽 AI & Data DAY 23

資料產品開發與專案管理系列第 23 篇

技術 [Day 23] 資料產品在設計與開發階段的五個大坑

過了需求訪談後，在設計和開發階段也有要注意的事項。第一坑資料不熟悉當組織規模一大，設計資料產品的人可能需要從其他人的手伸認識資料，這種時候就會發生很多誤解...

bryanyang0528 ‧ 2021-09-23

0 Like 0 留言 1484 瀏覽

鐵人賽 AI & Data DAY 22

資料產品開發與專案管理系列第 22 篇

技術 [Day 22] 資料產品在需求訪談階段的五個大坑

最後幾天來回顧一下在過去開發資料產品時常見的坑與應對方式，不管是專案還是產品，首先當然要面對的難題就是需求訪談。第一坑完全沒有畫面資料產品在需求訪談階段通...

bryanyang0528 ‧ 2021-09-22

0 Like 0 留言 1102 瀏覽

鐵人賽 AI & Data DAY 10

Data on Air - 以AWS服務實作雲端數據分析系列第 10 篇

技術 DAY 10 Big Data 5Vs – Velocity(多樣性) DynamoDB

對於「半結構化」類型的資料可以存放至NoSQL 資料庫*之中。NoSQL 資料庫常見於需要較快寫入速度的應用場景；半結構化資料本身少了關聯式資料庫那種schem...

Krystal ‧ 2021-09-22

0 Like 0 留言 1166 瀏覽

鐵人賽 AI & Data DAY 21

資料產品開發與專案管理系列第 21 篇

技術 [Day 21] 資料產品與 DataOps 原則

今天來細看 DataOps 的原則，盡量會搭配過去實作的經驗一起做說明。 1. 持續地滿足客戶需求我們最優先的任務是透過及早並持續地交付有價值的分析洞察來滿足...

bryanyang0528 ‧ 2021-09-21

0 Like 0 留言 593 瀏覽

鐵人賽 AI & Data DAY 9

Data on Air - 以AWS服務實作雲端數據分析系列第 9 篇

技術 DAY 9 Big Data 5Vs – Velocity(多樣性) RDS

Amazon Relational Database Service (RDS) 是AWS中為「結構化資料」所準備的關聯式資料庫受管服務(Managed Ser...

Krystal ‧ 2021-09-21

0 Like 0 留言 1475 瀏覽

鐵人賽 AI & Data DAY 20

資料產品開發與專案管理系列第 20 篇

技術 [Day 20] 資料產品與 DataOps 價值

資料可以是資產、也可以是負債。當組織積累了太多無用、甚至錯誤的資料時，資料不但不能提供價值，反而需要花更多力氣與時間去儲存、除錯、整理它，變成了負債。為了讓...

bryanyang0528 ‧ 2021-09-20

0 Like 0 留言 1680 瀏覽

鐵人賽 AI & Data DAY 19

資料產品開發與專案管理系列第 19 篇

技術 [Day 19] 資料產品的管理-資料治理初探

前面花了不少篇幅在討論資料產品的開發，接下來將花一些篇幅討論資料產品的治理方式。在做資料產品治理時，有一個很重要的觀念「將資料當作資產」。如果前面介紹過的，資...

bryanyang0528 ‧ 2021-09-19

0 Like 0 留言 813 瀏覽

鐵人賽 AI & Data DAY 8

Data on Air - 以AWS服務實作雲端數據分析系列第 8 篇

技術 DAY 8 Big Data 5Vs – Velocity(多樣性) 資料結構

第二個「V」要思考的數據問題是多樣性Velocity，資料的格式有千百種，從數不完的副檔名就知道。軟體的蓬勃發展與進步產生出了形形色色的資料，每種資料格式也都各...

Krystal ‧ 2021-09-20

0 Like 0 留言 984 瀏覽

鐵人賽 AI & Data DAY 7

Data on Air - 以AWS服務實作雲端數據分析系列第 7 篇

技術 DAY 7 Big Data 5Vs – Volume(容量) — Lake House & Database

如果有疑惑說：資料湖與資料倉儲該如何選擇呢？其實它們並不衝突。因為存放的資料不同，可以做的分析也不同，所以資料湖更像是資料倉儲的延伸，感謝分析技術的進步，現在可...

Krystal ‧ 2021-09-19