終於到了鐵人賽的尾聲，在經過一個月、看過各大公司依據不同目的、場景設計的演算法後，我們學到了什麼呢？而每間公司在研發並使用各式各樣的模型後，有沒有什麼珍貴的經驗可以傳承後人呢？

今天，讓我們一起來看看 Booking.com 在回顧公司使用的 150 個模型後，他們的心得回饋吧！

Booking.com 面臨的挑戰

在深入認識 Booking.com 的模型世界之前，我們先來看看他們處理的問題有哪些特性：

• 重大賭注（High Stakes）：一般的推薦系統，如推薦電影、歌曲、書或商品的網站，如果推薦失敗的話，消費者只要停止聽歌、看電影、或甚至退貨即可。然而，Booking.com 的推薦是無法重來的，因為消費者一旦入住，就無法倒退。
• 無窮小的 query（Infinitesimal Queries）：Booking.come 稱他們的用戶輸入的 query 為「近乎零（almost-zero-query）」，原因是使用者通常只會輸入目的地、入住日期和住客數量，不會有其他額外資訊提供給系統。
• 物件複雜（Complex Items）：房屋物件通常很複雜，需要用戶決定地點、房間數量、房屋型態等等，用戶要試著在如此多維度的情況下選擇一個最好的組合。
• 供給有限（Constrained Supply）：房源的數量都有限制，且和價格的互動關係會直接影響使用者體驗。
• 持續性的冷啟動（Continuous Cold Start）：一般來說，多數用戶一年只會有一到兩次的旅行，因此通常會處於長期的冷啟動狀態。每次用戶重新開啟訂房網站時，他們的偏好都有可能改變，過往的資料不一定有用。且新的房源也不斷地增加，缺乏用戶評論（Airbnb 也有面臨房源的冷啟動問題，可參考 Day 16 的文章）。
• 內容過載（Content Overload）：一個房屋物件的資訊很多，包含描述、圖片、評論和評分。另外，目的地本身也有許多資訊，要如何成功且有效地使用這些豐富內容又是另一個挑戰。

為了解決這些獨特的挑戰，Booking.com 經由各種角度切入，設計各式各樣的演算法，以處理這些複雜的問題。那他們的心得是什麼呢？讓我們一起看下去！

開端：機器學習有如一把產品開發的瑞士刀

對於要不斷發想點子、設計假說和商業情境的產品組而言，機器學習可以使用在非常多、相當不同的產品、各式各樣的情境上，因此非常有助於他們開發產品。

機器學習模型有兩個使用情境，其一是可以特別針對個案，例如在設定介面上的某個元件尺寸大小，或是針對特別的情境以推薦商品。而另外一個情境杯稱為情感層（semantic layer），這些模型能夠了解用戶，使產品組根據模型的輸出設計新特徵、客製化內容和推銷訊息。

可以依照模型的用途分為以下幾類：

旅行者的偏好（Traveller Preference Models）

此類的模型目的是預測用戶的偏好，舉例而言，用戶對於各種面向會有不同程度的彈性（flexibility），如從完全沒有彈性到非常彈性。各種面向包含目的地、房源價格、房源地點、品質、地點和設施。這一類的模型都是**情感層（semantic layer）**的模型。

舉一個具體的例子，Booking.com 可以藉由「Dates Flexibility」這個模型預測用戶對住宿日期有多大的彈性空間。如果用戶很有彈性，在網站上可以出現訂房日期推薦的頁面；反之則不會出現，否則甚至有可能會讓用戶感到困惑。

旅行情境（Traveller Context Models）

旅行的情境包羅萬象，從旅行者的組成，如情侶、家庭、朋友或單獨旅行；旅遊性質，是遊玩或商業旅行；旅遊地點，只是開車去近處、或是搭飛機到遠方；旅行時間，是在一個城市長時間旅行，或在多個城市中旅行，每處都短暫停留。有各式各樣的情境能夠讓模型預測與學習。

以其中一個「Family Traveller Model」為例，其目的是預測一個用戶有多高的機率要從事家庭旅行。通常家庭旅行者會填入孩童的數量，而這個模型可被用來提醒用戶要輸入小孩的資訊，如下圖 (a) 所示。希望用戶能夠越早輸入越好，以幫助後續的房源推薦。

頁面最佳化模型（User Interface Optimization Models）

字型大小、物件的數量、背景顏色或照片，這些都會影響到用戶的決策，因此也有一組模型在考量各種情境和用戶資訊後，最佳化這些參數。

例如在 Day 10 介紹過 Uber 的 A/B testing 的案例中，Uber 在測試黑色或綠色的按鈕顏色會比較吸引消費者使用，而原因就是因為按鈕顏色的確有可能會影響消費者的決策。因此，Booking.com 在設計頁面的排版時，也需要機器學習模型以幫助決策。

內容策展（Content Curation）

所謂的內容（content）包含目的地、地標、住宿房源、照片和房東，這些內容都能夠都有很高的潛力用來吸引顧客。而要如何呈現這些內容給用戶，就是內容策展（content curation）的重要一環。

以上圖 (b) 的案例，Booking.com 透過 ML 模型搜集並分析超過一億七千一百萬則評論、超過一百五十萬的房源，總結出一些關於房屋的簡短推薦與評論，希望能夠更加吸引用戶、幫助顧客做決定。

內容增量（Content Augmentation）

不僅是 Booking.com 的網站可以提供資訊給顧客，在用戶瀏覽、選擇、訂購和評論一間房源的過程中，同時也會讓 Booking.com 更了解一個房源，蒐集到更多資料。

內容增量（content augmentation）和 內容策展（content curation）不同之處在於，內容策展是使用既有內容並呈現給使用者，而內容增量在於創造新內容。

舉一個實際的案例「Great Value」（上圖的(c)），由於房源價格是有可能隨著時間變動而改變的，如果用戶能夠知道每間房源和價格的關係，有利於幫助他們做更好的判斷。因此，Booking.com 利用每天數千筆的訂房資料，預測房源在特定日期的價格變化，並知會用戶，鼓勵用戶選擇特定的地點或日期以爭取更好的優惠價格。

以上是 Booking.com 如何在機器學習的助力下以設計出更好的產品。我們明天再一起了解更多吧！

謝謝讀到最後的你，如果喜歡這系列，別忘了按下喜歡和訂閱，才不會錯過最新更新。
也歡迎到我的 medium 逛逛！

Reference:
[1] L. Bernardi, T. Mavridis, and P. Estevez, “150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com,” in Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage AK USA, Jul. 2019, pp. 1743–1751. doi: 10.1145/3292500.3330744.