iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

3D 重建實戰:使用 2D 圖片做相機姿態估計與三維空間重建 系列

介紹電腦視覺領域中的 3D 重建相關的理論與算法:包含如何估計相機的姿態、如何計算深度、如何重建,也會試著涵蓋一些近年崛起的深度學習的 3D 重建算法。本系列將會理論與實作並重,主要使用 Python 實作,並且以 3D 視覺化的方式展示實作的結果。

鐵人鍊成 | 共 30 篇文章 | 1 人訂閱 訂閱系列文 RSS系列文 團隊天堂製造
DAY 11

Day10: 數據集讀取

延續前一篇文介紹 TUM RGB-D Dataset,本文將要來使用python處理這個數據集,首先要建立一個 Python 的 dataset class,以...

DAY 12

Day11: 特徵點

為了計算兩張圖的相機的姿態,我們需要知道兩張圖內共同的資訊,這個資訊就是特徵點 (feature point)。特徵點指的是圖片中的一些有特別代表性的像素,可以...

DAY 13

Day12: 特徵點匹配

得到特徵點後,我們可以進行特徵點匹配,找出兩張圖片中相同的特徵點。也就是計算特徵點 descriptor 之間的相似度,找出最相似的特徵點。 例如,計算兩個向量...

DAY 14

Day13: 計算相機姿態

有了對應點之後,我們就可以來計算相機的姿態了。背後的原理是利用相機投影的幾何關係,解出相機的旋轉矩陣和平移向量,這些理論的部分我們會在後面利用幾篇文章來細說。本...

DAY 15

Day14: 三角測量 Triangulation

當我們得知兩張圖之間的對應點、相機參數和座標轉換時,我們還可以透過 Triangulation 的到這些對應點的三維座標,與以前數學課程中學過的三角測量基本相同...

DAY 16

Day15: 對極幾何 Epipolar geometry (一)

前面示範了簡單的實作練習,現在讓我們回到理論的部分,讓我們試著回答以下問題: 如何從點的配對得到相機的外部參數的呢? 需要幾個點的配對才能推估出相機的外部參數...

DAY 17

Day16: 對極幾何 Epipolar geometry (二)

延續前一篇的內容,在相機一座標系下的 點 和在相機二座標系下的 點 之間的關係是: 左右兩邊都同時乘上 ,這裡的 是 的 skew-symmetri...

DAY 18

Day17: 對極幾何 Epipolar geometry (三)

終於要來回答前面的問題:如何用兩張圖的匹配點解出 Essential Matrix 呢? 上一篇文中提到經典的 Epipolar constraint如下:...

DAY 19

Day18: 八點法 8-point algorithm

八點法故名思義,就是利用兩張圖的 8 個匹配點來計算 Essential Matrix。 基本的步驟如下: 1. 解方程式得到 E 將八個配對點轉換成以下矩陣形...

DAY 20

Day19: 八點法背後的數學(ㄧ)

筆者當初學習八點法時,能夠理解基本的算法與實作,但對於背後數學原理感到困惑,為什麼這樣做就對了呢?因此在這裡想要深入一些,不會追求能夠完整證明,但希望能提供一些...