iT邦幫忙

資料處理相關文章
共有 21 則文章
鐵人賽 AI & Data DAY 13

技術 [DAY13] 機器學習基本架構(一): 資料前處理

基本架構 1.找出問題2.思考是否真的需要使用機器學習?3.資料收集4.資料前處理5.特徵工程6.模型訓練7.模型評估8.微調模型&參數9.預測&amp...

鐵人賽 AI & Data DAY 5

技術 Day5 利用Python處理資料(4) -- 資料插補(Imputation)

前言 遺失值(Missing Value)資料的插補也是訓練模型前資料清洗重要的一環,在進行資料分析時資料常常是不完善的,因此需要有一些方法來處理資料遺失的狀況...

鐵人賽 自我挑戰組 DAY 17
Python資料分析學習地圖 系列 第 17

技術 Day 17 : 模型前的資料處理 (1)

雖然好的模型和參數可以提高成效,但通常最關鍵還是資料本身。基本上資料的品質決定了八成以上模型的成效,因此大家有必要對自己的資料有所認識和了解。 而在做機器學習的...

鐵人賽 AI & Data DAY 6
人工智慧 vs.工人智慧 系列 第 6

技術 Day 06:資料處理

從這裡開始,開始需要執行程式。在之後的範例裡面,我們會把所有的 functions 都先放在 TaggingMain_Sample.java 裡。 文章列表為了...

鐵人賽 Cloud、Big Data DAY 30

技術 蠻可愛的資料處理

結語 在前面的29天中,從資料庫的一些案例出發,裡面 有產生大量測試資料的方法,也有一些比較有點 難度,但是在系統實務上很有用的案例,這部份 我只提出一些Tab...

鐵人賽 Cloud、Big Data DAY 29

技術 將資料快速導向Gnuplot畫圖的輔助程式 Feedgnuplot

前面有介紹過Gnuplot,可以畫出漂亮的圖形. 也看到要下一些指令,進行設定. 可是有時候我們只是想要快速的畫出一些簡單的圖形. 而且可以在命令列裡面直接,簡...

鐵人賽 Cloud、Big Data DAY 25

技術 過濾資料探討5

今天介紹量詞(quantifier) 先來看以下基本例子 In [1]: import re In [2]: re.search(r"^\d\d\d...

鐵人賽 Cloud、Big Data DAY 24

技術 過濾資料探討4

今天來討論一下排除及簡記法. 在之前例子中,多是使用列舉, 在一些情況下用排除會比較方便. 來看以下的例子 In [1]: import re In [2]:...

鐵人賽 Cloud、Big Data DAY 23

技術 過濾資料探討3

昨天探討到使用[0-9]這樣的方式來代表數字的範圍. 今天接著探討範圍. In [1]: import re In [2]: re.search("...

鐵人賽 Cloud、Big Data DAY 20

技術 從網路上擷取資料以及指令組合運用

在第15天時有討論資料處理的一些項目與過程. 其中一項是從網路上擷取資料. 從網路上擷取資料的方式很多,今天要介紹 curl. 我們從古騰堡計畫的網站來擷取馬基...

鐵人賽 Cloud、Big Data DAY 19

技術 CSVKit 4

最近很流行且通用的資料格式 json, csvkit也提供了csv轉換到json 的tool,叫 csvjson. 來看以下的範例: $ csvcut -c c...

鐵人賽 Cloud、Big Data DAY 18

技術 CSVKit 3

再接再厲,繼續研究csvkit這好東西. 找出我們想要的資料 一般的UNIX指令是grep;在SQL中是用where. csvkit中提供了csvgrep. 來...

鐵人賽 Cloud、Big Data DAY 16

技術 CSVKit 介紹

CSV檔是我們資料處理時蠻好用的格式, 現在有人開發出一套csvkit,裡面包含好幾個好用的指令. 因為他是使用Python開發的,我們使用Python的安裝工...

鐵人賽 Cloud、Big Data DAY 15

技術 關於資料處理

經過前面幾天的SQL範例以及plot範例, 鐵人賽也到中間了. 今天來談一下關於資料處理的一些項目與過程. 1.獲得資料 從別的地方下載資料,例如從網頁擷取....

鐵人賽 Cloud、Big Data DAY 14

技術 Gnuplot繪圖 同時顯示多個圖形的方法

先使用 multiplot 縱向數目,橫向數目 設定即可 進入互動模式 unset key set term pngcairo font "Anony...

鐵人賽 Cloud、Big Data DAY 13

技術 Gnuplot 3D繪圖

進入互動模式: unset key f(x,y)=sin(sqrt(x*x+y*y))/sqrt(x*x+y*y) set xlabel "X&quo...

鐵人賽 Cloud、Big Data DAY 12

技術 Gnuplot繪圖 使用對數座標

Gnuplot 可以使用對數座標. 範例如下: set term pngcairo font "SetoFont" set output &...

鐵人賽 Cloud、Big Data DAY 11

技術 Gnuplot 箭頭範例

有時候需要使用箭頭來提示. 今天的範例就使用了箭頭,加上文字label來說明. 並且在最大值處畫個醒目的點,我們使用了色碼, 來指定顏色. 而且指定了比較萌一點...

鐵人賽 Cloud、Big Data DAY 10

技術 Gnuplot 輸出為PNG格式以及設定中文字型

Gnuplot有多種輸出格式,我們可以直接指定輸出為 png格式,並且可以設定字型. 在此我們選用pngcairo,這會使用cairo來繪製, 圖形會比較漂亮,...

鐵人賽 Cloud、Big Data DAY 9

技術 Gnuplot 畫兩組數據

將昨天的亂數資料檔再新增一行亂數.取名為data2.txt 如: 1 22 37 2 56 20 3 87 79 4 6 46 5...

鐵人賽 Cloud、Big Data DAY 8

技術 Gnuplot 簡單數據繪圖

假設的資料存檔為 data1.txt 內容如下: 1 22 2 56 3 87 4 6 5 46 6 56 7 59 8 84 9 90 10...