iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

資料三十-那些最基本的資料處理與分析技能 系列

內容主要包含對資料分析的概念和實際操作
並且透過實際遇到問題的例子來提供說明

然後參賽順便當作筆記來用ヽ(・∀・)ノ

鐵人鍊成 | 共 30 篇文章 | 21 人訂閱 訂閱系列文 RSS系列文
DAY 21

【Day21-濾波】圖片也有頻率?影像資料如何做濾波?

前一天我們討論了圖片的顏色,今天就來討論一下圖片的頻率和一些簡單的特徵處理技巧 圖片也有頻率? 在處理聲音訊號的時候我們有用到傅立葉分析的方式來取得聲音訊號的頻...

2021-10-06 ‧ 由 owo 分享
DAY 22

【Day22-圖表】文不如表,表不如圖——使用seaborn一行透過圖表觀察資料!

我們人類是視覺的動物,因此在面對非常大量的資料的時候有一個合適、快速、有效的視覺化方法絕對是非常有必要的。所以今天就來簡單介紹幾個在做資料分析的時候最基礎的幾個...

2021-10-07 ‧ 由 owo 分享
DAY 23

【Day23-降維】相信你的眼睛,在訓練模型之前一定要做的事情——利用降維技巧檢視資料分群狀態:PCA, tSNE, SVD, SOM

昨天我們稍微講了一下如何透過一些基本的圖來讓在做資料分析的時候有一個初步的認識但有的時候我們的資料維度還是實在太多了,這個時候適當的使用一些降維技巧也可以幫助我...

2021-10-08 ‧ 由 owo 分享
DAY 24

【Day24-序列】時間序列型資料的基本處理——以0050股票價格為例:尋找峰值、移動平均、曲線擬合

前面我們雖然有講到除了基本的數值類型資料以外,一共主要會有文字、圖片、聲音這三大類型,而在數值類型的資料裡面還有一種特別的類型是(時間)序列型的資料 今日範例-...

2021-10-09 ‧ 由 owo 分享
DAY 25

【Day25-評估】連韓組長也混淆的混淆矩陣?——學會正確解讀模型價值的常用指標:Recall, Precision, Specificity, F1-Score

在資料分析的領域,如果有訓練過模型的朋友一定會遇過這個時刻,訓練好一個模型之後要用什麼方式來評估這個模型的成效如何?如果你腦海中想到的除了正確率(Accurac...

2021-10-10 ‧ 由 owo 分享
DAY 26

【Day26-報表】我的資料儀錶板動起來了——超方便的互動式報表工具Google Data Studio上手教學

資料分析根據目的和場景的不同,通常會有著不同適合的呈現方式,例如 如果是在學術單位 會偏好比較明確的變數關係和單位 不適合添加太多的裝飾 如果是在商業公...

2021-10-11 ‧ 由 owo 分享
DAY 27

【Day27-並列】大 大 大資料——操作巨量資料的必備觀念MapReduce

在處理資料分析的時候,有的時候我們會需要將非常大量的資料之間進行一些交互的計算(例如矩陣乘法之類的),而過程中會需要進行儲存的記憶體空間需求就會變得很大,因此就...

2021-10-12 ‧ 由 owo 分享
DAY 28

【Day28-爬蟲】資料分析有時候還是需要自己生資料的——以python自動抓取gif梗圖為例,十分鐘簡單上手爬蟲(含範例程式)

在我們學習資料分析的過程中,很常會被拿到各種各樣的資料集來作為例子,不過有的時候我們也會希望有一些比較不同或是比較實際特定遇到的資料來進行分析,那這個時候具備有...

2021-10-13 ‧ 由 owo 分享
DAY 29

【Day29-管線】ETL資料工程的必備觀念與流程工具Dagster介紹

終於到了倒數第二天了,那前一天我們介紹了用爬蟲作為資料獲取的手段,那今天就來稍微講解一下有了資料之後需要怎樣進行資料流(data pipeline)的管理吧 E...

2021-10-14 ‧ 由 owo 分享
DAY 30

【Day30-回首】成為最晚報名的完賽選手!——心得與文章整理

耶終於來到最後一天了,就稍微整理一下文章和心得 文章整理 基本觀念與心得類 【Day01-資料】什麼才叫做資料?不就是資料嗎還有什麼差別? 【Day02...

2021-10-15 ‧ 由 owo 分享