在開始設計 scoring rubric 的時候，我們沒有一套現成的標準可以直接拿來使用。

我們確實有業務主管多年累積下來的經驗，但這些經驗從來沒有被明確地定義、記錄下來。主管很清楚什麼樣的客戶提案會議是好的，也知道對我們這個產業來說，一個好的業務在跟客戶溝通時，應該要注意哪些事情。因此，主管的經驗和對提案品質的判斷確實是我們設計評量機制時最主要的參考來源。但另一方面，我們也希望這套評分機制不要完全建立在單一的個人經驗上，所以也透過各家LLM model去整理目前市場上比較常見的銷售訓練 (sales training)、銷售方法論 (sales methodology)，看近幾年市面上的提案訓練，通常會強調哪些面向。

因此，產出的scoring rubric其實是幾種資訊來源統整之後的結果：主管的實務經驗、我們對這個產業和客戶的理解，以及透過LLM整理出來的 sales training framework。我們先把這些資訊彙整起來，整理出一套比較大的 scoring framework，再逐步往下定義每一個面向應該怎麼評量。

在設計初稿的同時，我們也開始收集一些真實的業務提案會議錄音，拿這些實際的會議當作 sample，開始跑我們設計好的 scoring rubric 和延伸出來的 prompt，再看看 AI 實際評出來的結果到底是不是我們想要的。

也是從這個階段開始，我發現原本以為已經定義得滿清楚的東西，其實還是太模糊。其中一個最明顯的問題就是，我們到底想要評量的是哪一種「提案會議」？

因為「客戶提案會議」其實不是一種單一的情境。可能是第一次接觸、彼此完全不熟悉的新客戶，第一次正式介紹我們的產品和服務；也可能是已經合作一段時間的既有客戶，因為新的合作機會而進行提案。這兩種 meeting 雖然都可以被稱為提案會議，但業務在會議上應該做的事情，其實並不完全一樣。

第一次跟一個完全陌生的客戶開會時，可能更需要花時間了解客戶的背景、商務痛點、需求和目標，建立對話的基礎；但如果今天是既有客戶，雙方已經有一定程度的合作關係，業務可能就不需要重新花一大段時間做 discovery，而是可以直接進入新的合作討論。

如果我們把這些不同情境全部放進同一套 scoring rubric 裡，AI 當然還是可以評分，但這個分數到底有沒有意義呢？產出的評分結果和建議還有參考價值嗎？

例如，一個業務在既有客戶的會議裡，沒有花很多時間重新探索客戶背景，如果單純按照我們原本設計的 rubric，他可能因此得到很低的分數。但從實際的銷售脈絡來看，這可能根本不是問題，因為雙方本來就已經有足夠的背景資訊。

所以我們不得不回頭重新問一個最基本的問題：

我們到底希望透過這套評分機制，去幫助業務提升哪一種會議的表現？

這其實是我覺得整個評分機制設計過程裡很重要的一個節點。因為原本以為很單純在解決「怎麼把評分標準設計得更精確」，但做到後來才發現，在討論評分精確度之前，我們其實要先把「評量對象」定義清楚。否則後來做得再精準都跟現實情境脫節。

最終我們歸納出來，最希望優先輔導的是第一次跟新客戶進行的提案會議。因為這通常是業務初次正式向客戶介紹自己、了解客戶需求並開啟後續合作的機會，而第一次會議的表現，很大程度上會影響客戶願不願意繼續往下一步討論。因此，與其一開始就想做一套可以通用所有銷售會議的萬用評分機制，我們更希望先把這個最關鍵的初次會議 coaching做好。而實務上，確實也不太可能做一套評分機制就能涵蓋所有種類的銷售會議，那最後只會得出評什麼都不準確的結果

這個決定其實也讓後面的設計目標清楚了很多。

因為當我們知道自己主要要評量的是「第一次跟新客戶的提案會議」，就可以更聚焦去思考：在這個情境裡，一個好的業務到底應該做到什麼？哪些行為是真正關鍵？哪些事情是這個會議一定應該發生的？

而這也是我們在實際做設計的過程中慢慢學到的一件事情：評分標準並不是先定義好，然後交給AI生成看似精準的prompt就結束了。

反而是在真正拿實際的會議去跑過幾輪測試驗證之後，我們才開始看到原本沒有想到的變因；也在自己完整聽完多場會議錄音後，才比較確實了解業務實際提案的情境。每一次測試，都有可能讓我們重新檢視原本的定義是不是太模糊，或者某個評量標準是不是在真實的銷售情境裡根本沒有我們原本想像中的重要，或甚至脫離現實。

回想起來這完全是一個邊做邊持續修正，不斷理解自己的思考還不夠周全的過程。隨著我們對業務工作的理解越來越深，也開始發現原本沒有考慮到的情境，再把這些新的理解放回設計裡。

做到這裡，我才逐漸比較清楚地感受到，一套好的評分機制，可能關鍵並不是評量面向越多、越精細就越好，而是必須和實際要被評量的工作情境足夠貼近。否則最後很容易得到一套看起來非常完整、甚至很有邏輯的評分系統，但它評量的其實不是我們真正想改善的東西。而這也讓我開始重新思考，真正要設計的可能不只是評分機制，而是先把「什麼樣的行為值得被coaching、能夠被coaching」想清楚。