上一篇文章，我談到 AI 角色越來越多之後，時間與費用應該花在哪裡。

但要決定哪些投入值得繼續，還需要回答一個問題：我怎麼知道它真的有幫助？

如果增加角色之後，頻道裡的訊息變多了，看起來可能比較熱鬧。活動有人參加，金幣也持續發放，好像每個地方都有事情正在進行。

可是，這些變化能不能直接代表微光變好了？

我想先保留一點懷疑。

訊息數量能告訴我發生了多少次發言，卻不能單獨告訴我，大家在這裡的經驗是什麼。

先說清楚，我希望哪一件事變好
「讓社群更好」是一個很大的目標。

如果沒有再往下拆，我可能會在看到任何上升的數字時，都把它當成好消息。

因此，我想先回到具體的設計目的。

做新手教學，是希望第一次進來的人能找到開始的地方。安排作品交流，是希望分享能被看見，並有機會引出對話。改善交易流程，則是希望成員能放心使用，不必反覆確認自己的金幣去了哪裡。

不同的目的，需要觀察不同的結果。

新手教學不一定要讓人說更多話，而是讓他少一點迷路。交易流程改善之後，詢問訊息甚至可能減少，因為原本需要人工解釋的事情，已經能自己完成。

如果只追求訊息增加，反而可能把問題減少誤認成互動下降。

先分開看，是誰在說話
微光裡有 AI 角色，所以訊息增加時，還需要先確認來源。

可能是成員之間開始聊起來，也可能只是 Bot 回應得更頻繁。兩者都會讓頻道往下捲動，但意義不一樣。

如果新增的內容大多來自角色自動發言，成員卻沒有更多接話，不能只看總數，就認為大家更願意參與了。

我會想進一步看：角色的回應有沒有解決問題？有沒有幫助對話開始？還是大家只是略過它，繼續原本的交流？

這也接回第十五篇談的分寸。

有時候，讓角色少說幾句，成員反而更容易彼此接話。對話裡有空間，也可能是一種改善。

發言變少，有時是事情終於順了
假設某個功能原本很難使用，成員每次操作都要問一次。

「入口在哪裡？」
「這樣有送出去嗎？」
「為什麼沒有反應？」

修正之後，這些訊息不再出現。如果只看頻道活躍度，可能會發現數字下降。

但對使用者來說，他不必再花時間求助，事情也能順利完成，這顯然值得保留。

所以，我想把求助訊息的數量，和問題是否得到解決一起看。

求助變多，可能是更多人開始使用，也可能是功能變難用了。求助變少，可能是說明改善，也可能是大家放棄了。

同一個數字有不同解釋，需要搭配實際情境確認，不能急著選擇最讓自己滿意的答案。

有人分享之後，接下來發生了什麼？
如果我希望微光能讓人分享作品，那麼收到作品，只是開始。

我還會想知道，作品貼出來之後，有沒有得到適合的回應。

有人詢問製作方式嗎？作者有沒有機會說明自己的想法？如果他明確希望得到建議，最後有沒有人回應那個問題？

這些不一定能整理成一個漂亮的分數，但能幫助我看見分享之後的經驗。

不過，也不能反過來要求每篇作品都必須引發長篇討論。

有人只是想讓朋友看一下完成的東西，收到簡單回應就很開心。要觀察的是他的期待有沒有被接住，而不是替所有分享套上相同的互動標準。

我不能因為某篇留言不多，就直接判定它沒有價值。

熱鬧是不是集中在少數人身上？
一個頻道很熱鬧，也可能主要是幾位熟悉的成員在聊。

這本身沒有不好。熟人願意持續交流，是社群很重要的一部分。

但如果我正在評估新成員能不能加入，就不能只看整體對話量。還需要留意，新來的人提出問題時，有沒有得到回應；試著接話時，是不是需要先理解很多內部用語。

我不想因此要求大家平均分配發言，也不需要讓每個人都一樣活躍。

比較值得確認的是：想參與的人，有沒有機會開始？

如果某位成員選擇安靜，可以尊重。但如果他試過幾次，始終沒有人接住，那就是另一件值得處理的事情。

活動當天的增加，不一定會持續
一場活動、一項新功能，或一段獎勵加成，都可能讓短時間內的參與變多。

這可以是好現象，但我不想太快把它當成長期改變。

活動結束之後，大家還會不會使用相關功能？獎勵恢復原本方式時，參與是否仍然成立？如果沒有持續，也不一定代表活動失敗，因為有些活動本來就只想提供一次完整的經驗。

需要先回到原本的目的，再選擇觀察多久。

比較不同時段時，也要留意條件是否相近。剛好遇到假日、大家比較忙，或有其他話題出現，都可能影響結果。

看到變化，可以先提出可能原因，不必立刻宣稱某個設計已經證明有效。

數字幫我找到問題，回饋幫我理解原因
我仍然覺得統計有用。

它可以提醒我某個功能突然很少被使用、某段時間錯誤增加，或一項流程經常停在同一步。

但數字通常不會自己解釋原因。

如果很多人打開活動介紹，卻沒有繼續，可能是沒有興趣，也可能是參加方式不清楚。需要看看實際畫面，或向願意分享經驗的人詢問，才比較容易知道要調整什麼。

第八篇談過，我想聽見具體的使用經驗。到了這裡也是一樣。

比起只問「你覺得好不好」，我更想知道：「你看到這裡時，以為下一步要做什麼？」或「哪個地方讓你決定先停下來？」

不過，願意回答的人未必代表所有成員。回饋可以幫助理解一種經驗，不能直接擴大成所有人的想法。

不要為了觀察，把成員變成被評分的人
想了解社群狀況，不代表需要替每個人建立活躍度成績。

我不希望成員因為知道有統計，就開始擔心自己這週說得太少，或覺得安靜會被判定為不投入。

因此，我想優先觀察功能與流程，而不是評價個人。

例如，任務在哪一步容易卡住、求助是否有後續，以及某個入口是否經常找不到。能用彙整資料理解，就不必把每一個人的行為攤開來。

若需要查看個別問題，也應該限於處理那件事所需的範圍，避免把私人內容帶進公開報告。

觀察的目的是改善環境，不是要求成員配合數字表現。

指標也可能讓我做出錯誤的選擇
如果我開始把發言量當成主要成果，就可能不自覺地增加提醒、追問和自動話題，只為了讓數字持續上升。

如果只看活動完成率，也可能把任務改得越來越容易，卻忘了原本想讓大家經歷什麼。

所以，選好觀察方式之後，還需要回頭檢查：它有沒有讓我偏離目的？

一個值得看的數字，應該幫助我提出更好的問題，而不是讓我只想把它做高。

必要時，也可以承認目前看不出明確結果，繼續觀察，或先做一個小幅調整。資料不足時，不必硬寫出一份看起來很成功的結論。

我想看見的，是大家比較容易做自己想做的事
我希望微光有活力，但那不只是一個頻道不停出現新訊息的樣子。

也可能是第一次進來的人，順利找到感興趣的地方。有人問了一個問題，得到能繼續往下走的回答。某位成員分享作品時，不再需要先猜應該貼在哪裡。

有時候，改善會讓互動增加。有時候，它只是讓原本麻煩的事情安靜地消失。

我想透過紀錄、觀察與回饋，慢慢分辨這些變化。

當我說「微光變好了」時，希望後面能接上一件具體的事情，而不只是展示一個比上個月更高的數字。

例如，有人原本不知道怎麼開始，現在已經能自己完成。

那就是一個值得繼續做下去的理由。