iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

資料三十-那些最基本的資料處理與分析技能 系列

內容主要包含對資料分析的概念和實際操作
並且透過實際遇到問題的例子來提供說明

然後參賽順便當作筆記來用ヽ(・∀・)ノ

鐵人鍊成 | 共 30 篇文章 | 21 人訂閱 訂閱系列文 RSS系列文
DAY 11

【Day11-映射】淺談python的map與pandas的map用法

複習一下國中數學應該都有學過函數映射的概念,就是根據特定的規則將輸入轉換成輸出在做資料處理的過程中,這就很適合用來協助我們處理一些資料的清理與替換所以今天就簡單...

2021-09-26 ‧ 由 owo 分享
DAY 12

【Day12-排序】淺談python中的資料排序——sort, sorted, natsort, pd.sort_values

前一天我們學會了對資料進行簡單的map處理之後,今天來聊一下排序不論是進行人工的檢視或是後續分析的需求,排序是一個我們會很常到的工具 排序 在python中最簡...

2021-09-27 ‧ 由 owo 分享
DAY 13

【Day13-計數】如何快速統計資料出現頻率?——使用Counter或groupby快速計算元素出現個數

當拿到資料之後,我通常的第一步一定是先看一下這筆資料大致長什麼樣子這個時候有了能統計每個類別出現了幾次的部分就會很有用而具體要針對一個或多個欄位的統計則是根據需...

2021-09-28 ‧ 由 owo 分享
DAY 14

【Day14-字串】淺談python中最常用到的str處理方式——格式化、尋找、取代、分割、合併

在資料處理的過程中,我們最常會面對的不外乎四種類型 數值 文字 影像 音訊 因此接下來幾天會稍微針對這些資料的基本操作和認知稍微談一下 str基本操作 如何...

2021-09-29 ‧ 由 owo 分享
DAY 15

【Day15-文字】文字資料的基本處理——Token、Stem、Stopword

前一天我們談了一些關於如何處理字串的的基本操作同時在結尾有稍微提出一點對於文字的看待觀點那我們今天就針對昨天提出的這些問題來做一些處理吧~ 讓程式記得不同的單字...

2021-09-30 ‧ 由 owo 分享
DAY 16

【Day16-搜尋】茫茫文海當中找到那個對的詞——文字處理利器之正規表達式在python的應用

前一天我們就如何讓程式可以認得不同的單字稍微討論了一下一些基本的處理,那今天我們就繼續文字的主題來介紹一個在處理文字資料的時候非常強大的工具——正規表示式(又稱...

2021-10-01 ‧ 由 owo 分享
DAY 17

【Day17-音訊】淺談聲音資料的基本分析方式——時間域與頻率域

如同我們在Day14的時候提到的最常出現的四種資料類型,而前兩天我們稍微談了一下文字資料的基本處理,那今天就接著來將一下聲音資料的處理吧 聲音資料 其實我覺得聲...

2021-10-02 ‧ 由 owo 分享
DAY 18

【Day18-音調】我們怎麼聽出來不同音高的差別?——python中對於聲音頻率的處理

昨天我們針對聲音訊號的基本處理做了一些簡單的介紹,知道了聲音是一連串隨著時間變化的訊號所組成的,同時可以透過傅立葉分析的方式來得到同一個時刻不同音高成分的分佈。...

2021-10-03 ‧ 由 owo 分享
DAY 19

【Day19-顏色】眼前的黑不是黑,你說的白是什麼白?——淺談圖片資料的色彩空間

在經過了文字和聲音的章節,今天終於到了圖片的進度我們會從人類對視覺的認知方式出發,以及談一下那些不同的色彩空間對於儲存一張圖片有什麼優勢 顏色與視覺 人類是怎麼...

2021-10-04 ‧ 由 owo 分享
DAY 20

【Day20-填充】二維圖片資料要怎麼做填充?

今天簡單介紹一下在處理二維圖片中算是偶爾會用到的工具——填充資料 沿著各種方向填充 這邊以2d-array為例,不同尺寸會有不同結果 原始 一個參數——四周數...

2021-10-05 ‧ 由 owo 分享