這篇文章比較特別的是以圖找圖,雖然有大概1秒的latency,但能把圖形的feature編碼轉成JSON檔,再經由elasticsearch的平台來搜尋,也是蠻有趣的應用。
筆者將這樣的架構應用在購物平台讓使用者可以以圖找圖,利用向量的方法,把圖轉成矩陣,並可搭配文字一起搜尋,例如網購衣櫥,只要把喜歡的衣櫥樣式圖形當成基底,再加上顏色的名字甚至材質,然後再限定底價,就能搜出想要的各種衣櫥樣式,當然目前只有2D向量圖可適用,未來也期待有3D搜圖的應用。
Reference paper:
Towards Practical Visual Search Engine Within Elasticsearch