iT邦幫忙

鐵人檔案

第 12 屆 iThome 鐵人賽
回列表
AI & Data

索引結構與機器學習的相遇 系列

2017年Google發了一篇論文叫 " The Case for Learned Index Structures ",他們提出了一個嶄新的想法,使用機器學習、深度學習的模型學習資料的分布,使用模型預測資料的所在位置,就能更快速地查找到資料,他們將這樣的索引結構稱為 "Learned Index" 。
我希望能基於此論文,進行30天的鐵人競賽,探討並實作出Learned Index !

鐵人鍊成 | 共 30 篇文章 | 12 人訂閱 訂閱系列文 RSS系列文 團隊北科大計算機
DAY 1

Day 1 - 簡介

Hi~各位大大平安 !這是我第一次參加 IT幫鐵人賽,由於我們團長Ian想要組隊,但人數不足,邀請我參予這次的競賽,後來被他真摯地邀約打動,因此決定加入他的戰隊...

2020-09-16 ‧ 由 napcire 分享
DAY 2

Day 2 - 簡單介紹一下B-Tree

在介紹B+-Tree前一定要介紹B-Tree,因為B+-Tree為B-Tree的變種,那我先來介紹B-Tree嚕 ! B-Tree 所謂的B-Tree即為Bal...

2020-09-17 ‧ 由 napcire 分享
DAY 3

Day 3 - 簡單介紹一下 B+-Tree

上一篇介紹了B-Tree,今天一樣要來簡單地介紹一下B+-Tree嚕~ B+-Tree B+-Tree跟B-Tree不一樣的點在於.... 多了一個+號 開玩笑...

2020-09-18 ‧ 由 napcire 分享
DAY 4

Day 4 - Learned Index

接續前兩天簡單地介紹 B-Tree & B+-Tree,今天要來介紹本次競賽的主軸 Learned Index 嚕!!!什麼是Learned Index...

2020-09-19 ‧ 由 napcire 分享
DAY 5

Day 5 - CDF是甚麼 ?

昨天我們簡單介紹了 Learned Index,主要是學習資料在array中的分布,建置Model,使用Model預測出資料在array中的位置。 那是學習甚麼...

2020-09-20 ‧ 由 napcire 分享
DAY 6

Day 6 - 建置Model學習CDF分布

前一天我們簡略地介紹了CDF,Kraska et al. 發現對於排序好的Key值,其CDF的分布會近似於Key值的位置~ 下面這張圖為Key 與 CDF 的曲...

2020-09-21 ‧ 由 napcire 分享
DAY 7

Day 7 - 不精準問題

回顧一 下,Learned Index建置Model,學習資料的CDF分布,預測出位置。 但是,有一個問題是對於Model來說,預測出的位置可能會有錯誤,也就是...

2020-09-22 ‧ 由 napcire 分享
DAY 8

Day 8 - 初步測試

前面幾天大致上介紹了關於Learned Index的概念與初步架構,如果前面的都忘了,或是沒有聽懂的地方,只要知道就是建置Model來取代傳統索引就好XD 沒有...

2020-09-23 ‧ 由 napcire 分享
DAY 9

Day 9 - 初步測試 (2)

昨天講到 Kraska et al. 建置神經網路進行初步實驗測試,今天主要是要講實驗的測試結果,經由初步的測試結果它們發現: 使用Model進行預測 每秒可...

2020-09-24 ‧ 由 napcire 分享
DAY 10

Day 10 - 提出新的方法

經過初步實驗結果,可以發現Model的執行時間相對其他的索引結構慢,也沒辦法很精準地預測結果... 那幹嘛用 Model....XD 開玩笑的...人家是大神,...

2020-09-25 ‧ 由 napcire 分享