iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 7529 瀏覽

鐵人賽 Cloud、Big Data DAY 8

蠻可愛的資料庫與資料處理系列第 8 篇

技術 Gnuplot 簡單數據繪圖

假設的資料存檔為 data1.txt 內容如下: 1 22 2 56 3 87 4 6 5 46 6 56 7 59 8 84 9 90 10...

丁大丙 ‧ 2014-10-08

0 Like 0 留言 5206 瀏覽

鐵人賽 Cloud、Big Data DAY 9

蠻可愛的資料庫與資料處理系列第 9 篇

技術 Gnuplot 畫兩組數據

將昨天的亂數資料檔再新增一行亂數.取名為data2.txt 如: 1 22 37 2 56 20 3 87 79 4 6 46 5...

丁大丙 ‧ 2014-10-09

0 Like 0 留言 4524 瀏覽

鐵人賽 Cloud、Big Data DAY 10

蠻可愛的資料庫與資料處理系列第 10 篇

技術 Gnuplot 輸出為PNG格式以及設定中文字型

Gnuplot有多種輸出格式,我們可以直接指定輸出為 png格式,並且可以設定字型. 在此我們選用pngcairo,這會使用cairo來繪製, 圖形會比較漂亮,...

丁大丙 ‧ 2014-10-10

0 Like 0 留言 3445 瀏覽

鐵人賽自我挑戰組 DAY 17

Python資料分析學習地圖系列第 17 篇

技術 Day 17 : 模型前的資料處理 (1)

雖然好的模型和參數可以提高成效，但通常最關鍵還是資料本身。基本上資料的品質決定了八成以上模型的成效，因此大家有必要對自己的資料有所認識和了解。而在做機器學習的...

皮卡丘打排球 ‧ 2021-09-29

0 Like 0 留言 3218 瀏覽

鐵人賽 Cloud、Big Data DAY 12

蠻可愛的資料庫與資料處理系列第 12 篇

技術 Gnuplot繪圖使用對數座標

Gnuplot 可以使用對數座標. 範例如下: set term pngcairo font "SetoFont" set output &...

丁大丙 ‧ 2014-10-12

0 Like 0 留言 2651 瀏覽

鐵人賽 Cloud、Big Data DAY 13

蠻可愛的資料庫與資料處理系列第 13 篇

技術 Gnuplot 3D繪圖

進入互動模式: unset key f(x,y)=sin(sqrt(x*x+y*y))/sqrt(x*x+y*y) set xlabel "X&quo...

丁大丙 ‧ 2014-10-13

1 Like 0 留言 2643 瀏覽

鐵人賽 Cloud、Big Data DAY 16

蠻可愛的資料庫與資料處理系列第 16 篇

技術 CSVKit 介紹

CSV檔是我們資料處理時蠻好用的格式, 現在有人開發出一套csvkit,裡面包含好幾個好用的指令. 因為他是使用Python開發的,我們使用Python的安裝工...

丁大丙 ‧ 2014-10-16

0 Like 0 留言 2586 瀏覽

鐵人賽 Cloud、Big Data DAY 29

蠻可愛的資料庫與資料處理系列第 29 篇

技術將資料快速導向Gnuplot畫圖的輔助程式 Feedgnuplot

前面有介紹過Gnuplot,可以畫出漂亮的圖形. 也看到要下一些指令,進行設定. 可是有時候我們只是想要快速的畫出一些簡單的圖形. 而且可以在命令列裡面直接,簡...

丁大丙 ‧ 2014-10-29

1 Like 0 留言 2406 瀏覽

鐵人賽 Cloud、Big Data DAY 14

蠻可愛的資料庫與資料處理系列第 14 篇

技術 Gnuplot繪圖同時顯示多個圖形的方法

先使用 multiplot 縱向數目,橫向數目設定即可進入互動模式 unset key set term pngcairo font "Anony...

丁大丙 ‧ 2014-10-14

0 Like 0 留言 2038 瀏覽

鐵人賽 Cloud、Big Data DAY 11

蠻可愛的資料庫與資料處理系列第 11 篇

技術 Gnuplot 箭頭範例

有時候需要使用箭頭來提示. 今天的範例就使用了箭頭,加上文字label來說明. 並且在最大值處畫個醒目的點,我們使用了色碼, 來指定顏色. 而且指定了比較萌一點...

丁大丙 ‧ 2014-10-11

1 Like 0 留言 1856 瀏覽

鐵人賽 Cloud、Big Data DAY 30

蠻可愛的資料庫與資料處理系列第 30 篇

技術蠻可愛的資料處理

結語在前面的29天中,從資料庫的一些案例出發,裡面有產生大量測試資料的方法,也有一些比較有點難度,但是在系統實務上很有用的案例,這部份我只提出一些Tab...

丁大丙 ‧ 2014-10-30

1 Like 0 留言 1703 瀏覽

鐵人賽 AI & Data DAY 6

人工智慧 vs.工人智慧系列第 6 篇

技術 Day 06：資料處理

從這裡開始，開始需要執行程式。在之後的範例裡面，我們會把所有的 functions 都先放在 TaggingMain_Sample.java 裡。文章列表為了...

phelps ‧ 2019-09-07

0 Like 0 留言 1697 瀏覽

鐵人賽 AI & Data DAY 5

人類學習機器學習的學習筆記 with Python 系列第 5 篇

技術 Day5 利用Python處理資料(4) -- 資料插補(Imputation)

前言遺失值(Missing Value)資料的插補也是訓練模型前資料清洗重要的一環，在進行資料分析時資料常常是不完善的，因此需要有一些方法來處理資料遺失的狀況...

liaochenpo ‧ 2022-09-16 ‧團隊NTUEPM_STAT LIFE

0 Like 0 留言 1558 瀏覽

鐵人賽 Cloud、Big Data DAY 20

蠻可愛的資料庫與資料處理系列第 20 篇

技術從網路上擷取資料以及指令組合運用

在第15天時有討論資料處理的一些項目與過程. 其中一項是從網路上擷取資料. 從網路上擷取資料的方式很多,今天要介紹 curl. 我們從古騰堡計畫的網站來擷取馬基...

丁大丙 ‧ 2014-10-20

1 Like 0 留言 1538 瀏覽

鐵人賽 Cloud、Big Data DAY 18

蠻可愛的資料庫與資料處理系列第 18 篇

技術 CSVKit 3

再接再厲,繼續研究csvkit這好東西. 找出我們想要的資料一般的UNIX指令是grep;在SQL中是用where. csvkit中提供了csvgrep. 來...

丁大丙 ‧ 2014-10-18

0 Like 0 留言 1469 瀏覽

鐵人賽 Cloud、Big Data DAY 15

蠻可愛的資料庫與資料處理系列第 15 篇

技術關於資料處理

經過前面幾天的SQL範例以及plot範例, 鐵人賽也到中間了. 今天來談一下關於資料處理的一些項目與過程. 1.獲得資料從別的地方下載資料,例如從網頁擷取....

丁大丙 ‧ 2014-10-15

0 Like 0 留言 1459 瀏覽

鐵人賽 Cloud、Big Data DAY 19

蠻可愛的資料庫與資料處理系列第 19 篇

技術 CSVKit 4

最近很流行且通用的資料格式 json, csvkit也提供了csv轉換到json 的tool,叫 csvjson. 來看以下的範例: $ csvcut -c c...

丁大丙 ‧ 2014-10-19

0 Like 0 留言 1330 瀏覽

鐵人賽 Cloud、Big Data DAY 23

蠻可愛的資料庫與資料處理系列第 23 篇

技術過濾資料探討3

昨天探討到使用[0-9]這樣的方式來代表數字的範圍. 今天接著探討範圍. In [1]: import re In [2]: re.search("...

丁大丙 ‧ 2014-10-23

0 Like 0 留言 1311 瀏覽

鐵人賽 Cloud、Big Data DAY 24

蠻可愛的資料庫與資料處理系列第 24 篇

技術過濾資料探討4

今天來討論一下排除及簡記法. 在之前例子中,多是使用列舉, 在一些情況下用排除會比較方便. 來看以下的例子 In [1]: import re In [2]:...

丁大丙 ‧ 2014-10-24

0 Like 0 留言 1246 瀏覽

鐵人賽 Cloud、Big Data DAY 25

蠻可愛的資料庫與資料處理系列第 25 篇

技術過濾資料探討5

今天介紹量詞(quantifier) 先來看以下基本例子 In [1]: import re In [2]: re.search(r"^\d\d\d...

丁大丙 ‧ 2014-10-25

1 Like 0 留言 651 瀏覽

鐵人賽 Python DAY 19

從概念到應用：Python實戰開發學習之旅系列第 19 篇

技術 [Day18] Python專案 - 表格文件的資料處理與實踐 -(3) 解決你工作中奇怪的excel資料跟老闆需求!?

目標我相信大家在成為軟體工程師前就有接觸excel來查閱或整理資料了~ 在工作中看過奇怪的資料怪談(空白、資料不齊全、檔案無法下載、無法解析...等)...

roni ‧ 2024-10-03

0 Like 0 留言 552 瀏覽

鐵人賽 AI & Data DAY 13

關於我從基礎程設轉職到人工智慧入門系列第 13 篇

技術 [DAY13] 機器學習基本架構(一): 資料前處理

基本架構 1.找出問題2.思考是否真的需要使用機器學習?3.資料收集4.資料前處理5.特徵工程6.模型訓練7.模型評估8.微調模型&參數9.預測&amp...

泉韵 ‧ 2023-09-28 ‧團隊每件事都壓死線的大家真的可以完賽嗎？

0 Like 0 留言 528 瀏覽

技術 PascalVOC 轉 Yolo標籤格式 (上) (範例程式碼)

完整程式碼！ https://github.com/yu-ken0207/PascalVOCtoYolo 將Pascal VOC格式的標註轉換為YOLO格式要...

kxkken ‧ 2024-10-21

1 Like 1 留言 223 瀏覽

鐵人賽 Python DAY 17

從概念到應用：Python實戰開發學習之旅系列第 17 篇

技術 [Day16] Python專案 - 表格文件的資料處理與實踐 -(1) 操作檔案的基本功

目標這個專案的目標主要是為了處理excel以及Libreoffice - Calc (ODS格式)表個文件的專案因為表格文件在我們日常生活中廣泛應用除了文...

roni ‧ 2024-10-01

1 Like 0 留言 210 瀏覽

鐵人賽 Python DAY 18

從概念到應用：Python實戰開發學習之旅系列第 18 篇

技術 [Day17] Python專案 - 表格文件的資料處理與實踐 -(2) 資料處理的武術寶典

目標說明經過昨天的檔案操作後想要帶大家更更進階的操作~ 工作中常用的excel技能根據工作中大大的要求大概可以定義成這兩項技能會拆解成兩大項:1.資料的...

roni ‧ 2024-10-02