iT邦幫忙

2023 iThome 鐵人賽

DAY 17
0
AI & Data

YOLO系列網路技術採用以及實作系列 第 17

[DAY 17] 常用的公開資料集網站

  • 分享至 

  • xImage
  •  

小前言

  要獲得優秀的模型輸出結果,除了提高模型識別物件特徵的能力外,提供具代表性和高質量的標註文件也至關重要。


標註影像的方式通常分為三大類:

  1. 物體分類:僅需告訴模型該影像中的物體類別。
  2. 物體偵測:除了告知模型物體類別外,還需要使用矩形框標記出物體的位置,以提供模型了解物體在影像中的位置。
  3. 物體分割:需要沿著物體的邊緣進行標記,並輸出該物體的遮罩(Mask),以提供模型更詳細的物體形狀信息。

  本系列文章主要聚焦在物體偵測模型,因此在模型訓練過程中需要提供物體在影像中的外接矩形框。如果影像和物體的數量龐大,手動標註所需的時間也會相當多。

  在模型訓練階段,個人會利用網路上已公開的標註完備的資料集來協助預訓練自己的模型。隨後,可以使用該模型生成個人資料的標註檔案,再進行手動檢查和修正是否正確。

  為了解決手上標註檔案不足的問題,今天要介紹的是我個人常用的公開資料集下載網站,並確定一個後續網路模型訓練的主題。

廣為人知的公開資料集

  1. IMAGENET: 1000個類別,詳細類別
  2. PASCAL VOC,20個類別,詳細類別
  3. COCO:Common Objecs in Context,80個類別,詳細類別

個人常用的三個資料集來源

1. Robotflow

https://ithelp.ithome.com.tw/upload/images/20231002/20120310RU7CkH7FTx.png

  • 這個網站提供了自動生成YOLO系列所需的標註格式檔案,非常方便。您可以下載影像集標註檔案,直接將其輸入到YOLO網路中進行訓練。
  • 該網站的資料集有些是由個人使用者上傳的,因此標註的品質可能不一致。在使用這些資料集進行訓練之前,建議您仔細檢查標註,確保其準確性,以獲得更好的訓練結果。

2. IEEE DataPort

https://ithelp.ithome.com.tw/upload/images/20231002/20120310TCzkj6yUJz.png

  • 這個網站提供了各個領域的資料庫,標註檔案的品質和精確性較高。
  • 資料庫的說明非常詳細,將有助於確保獲得高品質且適合研究目的資料集
  • 在進行訓練之前,需要確保標註的格式是否符合我們所需,若不符合,則必須進行格式轉換。

3. Kaggle

https://ithelp.ithome.com.tw/upload/images/20231002/201203109IuNOEcUGB.png

  • 主要為AI競賽的網站,也包含了許多影像資料集提供模型訓練。
  • 雖然資料庫提供了詳細的說明,但下載的標註檔格式可能不符合需求,若格式不符則需要進行格式轉換處理。

後續的實作所選定的資料集

這邊初步選擇IEEE DataPort上兩個公開的資料集進行實作。

  1. AIRCRAFT_FUSELAGE_DET2023: AN AIRCRAFT FUSELAGE DEFECT DETECTION DATASET
    • 飛機機身缺陷偵測資料集,四種飛機缺陷類別,共5601張影像,該資料集對於從事飛機缺陷檢測的人員而言是寶貴的資源。
      https://ithelp.ithome.com.tw/upload/images/20231002/20120310BVXxyXj6FJ.png
  2. E-MOULOUYA BDD: EXTENDED MOULOUYA BIRD DETECTION DATASET
    • W. Rabhi, F. Eljaimi, W. Amara, Z. Charouh, A. Ezzouhri, H. Benaboud, M. Saindou, and F. Ouardi, "An Integrated Framework for Bird Recognition using Dynamic Machine Learning-based Classification" in IEEE International Symposium on Computers and Communications, 2023.
    • 擴充的穆盧耶河(MOULOUYA)鳥類偵測資料集,合併三個用來進行鳥類偵測的資料集(XMBA、Rest Birds、D-Birds),經過檢查下載的標註檔案,只有標註鳥類一個類別,包含13000張影像,為科學界使用的理想源。
      https://ithelp.ithome.com.tw/upload/images/20231002/20120310rsUVh0VLXi.png

文章使用之圖片擷取自該網站


上一篇
[DAY 16] YOLOv8
下一篇
[DAY 18] 標註檔案格式及內容確認
系列文
YOLO系列網路技術採用以及實作30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言