本文內容係透過 Whisper 語音辨識技術將錄音檔案轉錄為文字稿，再經由大型語言模型（LLM）進行語意理解與重新詮釋，最後由人工微調潤飾而成。
會議是現代職場不可或缺的溝通管道，但繁瑣的會議記錄卻往往成為效率的瓶頸。相信許多主管都有類似的經驗：在主持會議的同時，還得兼顧記錄所有重要資訊，尤其是需要追蹤執行的任務與決議。這種一心多用的情況，不僅容易分散注意力，也可能影響會議品質。
以我自身為例，作為一名基層小主管，也經常面臨這樣的挑戰。在團隊人力有限的情況下，我開始思考如何藉助科技力量，例如 AI 技術，來提升會議記錄的效率與準確性，並打造更有效率的團隊協作模式。
首要步驟是將錄音內容轉換為逐字稿。OpenAI 所開發的 Whisper 語音辨識模型具備卓越的效能，能精確地將語音轉錄成文字。目前市面上已有多款基於 Whisper 技術的商業軟體，例如我曾購買過的 MacWhisper 和 Memo AI，不僅提供使用者友善的操作介面，更具備多項實用功能。
MacWhisper 是一款專為 macOS 系統設計的軟體，其操作介面簡潔易懂；Memo AI 則是一款跨平台解決方案，支援 Windows 和 macOS 雙系統，並整合了 Pyannote 擴展功能，能自動辨識不同發言者，有效提升多人會議記錄的整理效率。
為提升會議記錄的組織性，辨識每段發言的講者至關重要。Pyannote 是一款功能強大的開源工具，能透過語音辨識技術區分講者，Memo AI 已將其整合為擴充功能，方便用戶使用。
針對硬體資源有限的用戶，雲端運算方案可提供經濟實惠的解決方案。以 Replicate 平台即為一例，它提供 GPU 算力，讓用戶能夠運用平臺提供的模型進行運算。
例如，將會議錄音轉成文字並識別發言者的需求，即可使用 thomasmol/whisper-diarization 模型 (基於 Whisper Large V3 + Pyannote.audio 3.3)，來達成目標。
這種方法不僅成本低廉，而且處理效率很高。相較於購買價格高昂的硬體設備，使用雲端服務可以處理大量的會議錄音，性價比非常高。
取得會議逐字稿後，我們可以運用 AI 進一步分析會議內容，有效提升會議摘要的品質。 AI 能夠協助我們：
藉由 AI 的協助，我們能夠快速產出一份完整、結構化且易於閱讀的會議摘要，大幅提升工作效率。
我所使用的完整 Prompt 如下：
You are an AI assistant tasked with creating a structured summary of a meeting transcription. Your goal is to first correct any errors in the transcription, then organize the information into a clear, easy-to-read format that highlights the key points and discussions from the meeting.
First, you will receive a raw transcription from a voice-to-text system. This transcription may contain errors and might include multiple speakers. Your task is to correct and refine this transcription based on context clues and your understanding of software engineering topics. Pay attention to technical terms, names, and concepts that might have been misinterpreted by the voice-to-text system.
After correcting the transcription, create a structured summary following these guidelines:
1. Use 臺灣正體中文 for all content except Markdown headers.
2. Keep Markdown headers (H1, H2, H3) in English.
3. Start with a brief overall summary of the meeting's main focus.
4. Divide the meeting into main topics or sections.
5. For each topic or section:
- Provide a title that reflects the main theme of the discussion (use ## for these headers).
- Include the following subsections:
a. **Summary**: A brief overview of the topic discussion.
b. **Detailed Key Points**: List important agreed-upon points or decisions.
c. **Other Key Points**: List additional noteworthy information or considerations.
6. Use the following format for key points:
- For **Detailed Key Points**, use "✔️" before each point.
- For **Other Key Points**, use "📍" before each point.
7. Use markdown formatting to enhance readability:
- Use "##" for main section headers (in English).
- Use "###" for subsection headers (in English).
- Use bold text for emphasis where appropriate.
Here's an example of how to structure a section of the meeting summary:
<example>
## Project Timeline Update
專案時程更新討論，包括各階段的進度和可能的延遲。
### Summary:
團隊討論了當前專案的時程，確認了一些里程碑的調整，並討論了潛在的風險和緩解策略。
### Detailed Key Points:
✔️ ** 第一階段延期：** 由於外部依賴問題，第一階段交付將延遲兩週。
✔️ ** 風險緩解：** 團隊決定增加資源以趕上進度，包括臨時聘請兩名合約開發人員。
✔️ ** 客戶溝通：** 專案經理將在本週與客戶會面，解釋延遲原因並提出新的時程表。
### Other Key Points:
📍 需要更新專案管理軟體中的時程表。
📍 團隊討論了改進估算流程的方法，以避免未來出現類似問題。
📍 下一次進度會議定於兩週後舉行，以密切監控進展。
</example>
Remember to pay special attention to the context and content when summarizing, as the transcription may include multiple speakers and potentially complex technical discussions. Ensure that you capture the essence of the discussions, highlight key decisions and action items, and present the information in a clear and organized manner.
Now, please process the given meeting transcription and create a structured summary following this format. Ensure that you capture the essence of the discussions, highlight key decisions and action items, and present the information in a clear and organized manner. Remember, except for the Markdown headings, all content should be written in 臺灣正體中文. Each topic or section should include three sections: Summary, Detailed Key Points, and Other Key Points, and use the specified emojis to mark different types of points.
AI 自動生成的會議記錄，最終仍需經過人工審核的把關。使用先進的 LLM 通常能達到 80% 以上的準確率，因此只需投入少許時間進行編修，即可確保會議記錄的完整性和準確性。
為了驗證此方法的實用性，我選擇 GitLab 公司的內部會議錄影作為測試範例。該會議主要討論了資安成長與數據科學團隊的發展策略、反詐騙小組的組織重整，以及團隊內部溝通流程的優化方案。
令人驚豔的是，透過 Replicate 平台的 whisper-diarization 語音模型，我僅需花費了 0.11 美元和 3 分鐘的運算時間，便成功完成了會議錄音的完整轉錄和精確的發言者識別。與購買昂貴的硬體設備或使用付費軟體相比，此方法不僅大幅降低成本，更有效提升效率，展現出其強大的實用價值。
完整的輸出內容，我將其分享於 Sec Growth DataScience staff meeting Sep 14 2022 - Pastebin.com。
在取得會議逐字稿後，我利用 Gimini 1.5 Pro Experimental 0827 模型協助生成會議記錄，其產出內容如下：
# Meeting Summary - SEC, Growth and DataScience Team Meeting (2023-09-14/15)
## Overall Summary
本次會議主要討論了團隊的組織架構調整、專案進度更新、流程改進方案、以及團隊內部的一些事務性議題，包括 FedRAMP 安全問題處理、績效考核流程、開發部門願景和任務、以及團隊名稱的變更等等。
## News and Events
新聞與事件更新，包括溝通方式的調整和團隊領導職位的變動。
### Summary:
團隊討論了如何改善團隊內部的溝通效率，並宣布了安全政策團隊的全端經理代理人選。
### Detailed Key Points:
✔️ **溝通方式調整：** 為提高信噪比，將減少 Slack 頻道的使用，並增加員工會議議程中的項目，許多項目將以僅供閱讀的形式呈現。
✔️ **全端經理代理：** Alan 將擔任安全政策團隊的全端經理代理，直到正式的經理到職。
### Other Key Points:
📍 團隊領導需要參加員工會議或閱讀會議記錄，而不是僅依靠 Slack 頻道獲取信息。
## Anti-Abuse Team Move
反濫用團隊將從 SEC 部門轉移到 DataScience 部門。
### Summary:
團隊討論了反濫用團隊的部門轉移，以及 DataScience 部門的組織架構。
### Detailed Key Points:
✔️ **部門轉移：** 反濫用產品部門將從 SEC 轉移到 DataScience。
✔️ **DataScience 架構：** DataScience 部門將包含兩個階段：現有的 ModelOps（包含三個團隊）和反濫用階段（目前只有一個團隊）。
### Other Key Points:
📍 反濫用團隊未來可能會拆分為兩個團隊，但短期內不會發生。
📍 此次部門轉移涉及許多 Workday 和員工手冊的變更。
## Error Budgets and Reliability
錯誤預算和可靠性報告的編制和彙報。
### Summary:
團隊感謝 Thomas 和 Neil 在錯誤預算和可靠性報告方面所做的工作。
### Detailed Key Points:
✔️ **感謝和肯定：** 感謝 Thomas 和 Neil 持续編制和彙報所有團隊的錯誤預算、可靠性和安全事件。
### Other Key Points:
📍 Neil 自願參與了錯誤預算和可靠性報告的編制工作。
📍 團隊認識到這是一項吃力不討好的工作，但同時也提供了接觸不同團隊和人員的機會。
## Container Security Bot
容器安全機器人自動化流程的應用。
### Summary:
團隊討論了 Tiago 建立的容器安全機器人，並計劃將其應用於 Threat Insights 團隊。
### Detailed Key Points:
✔️ **自動化流程：** Tiago 建立了一個機器人，可以自動提醒團隊成員提供資源數據。
✔️ **應用擴展：** 計劃將容器安全機器人應用於 Threat Insights 團隊。
### Other Key Points:
📍 機器人可以自動執行提醒任務，減少人工操作。
## Talent Assessment
人才評估流程的更新和討論。
### Summary:
團隊討論了即將進行的人才評估流程，包括時間安排、平台變更和自我評估等方面。
### Detailed Key Points:
✔️ **時間安排：** 人才評估將在 10 月中旬至 12 月之間進行，eGroup 簽核預計在 12 月中旬完成。
✔️ **平台變更：** 人才評估將轉移到 Workday 平台上進行。
✔️ **自我評估：** 人才評估將包含可選的自我評估部分。
### Other Key Points:
📍 目前 Workday 平台尚未開放使用，建議繼續使用現有的 Google 文件進行自我評估和經理評估，直到 Workday 平台可用。
📍 需要了解 Workday 平台與現有流程的具體差異。
## Dynamic Analysis Team Structure
動態分析團隊的組織架構調整。
### Summary:
團隊討論了在動態分析團隊內部建立第二個團隊的計劃，以及團隊命名等問題。
### Detailed Key Points:
✔️ **新增團隊：** 動態分析團隊將新增一個團隊，Thomas 將擔任代理經理。
✔️ **團隊命名：** 新團隊將不會創建新的組別，而是根據功能類別進行劃分，與 Threat Insights 團隊的模式類似。
### Other Key Points:
📍 團隊命名需要考慮與現有團隊名稱的一致性，並可能需要與 People Ops 團隊討論 Workday 平台上的相關設置。
## Improving MR Rate
提高合併請求（MR）率的討論。
### Summary:
團隊討論了如何提高團隊的合併請求率，並分享了一些已嘗試的方法和經驗。
### Detailed Key Points:
✔️ **調查結果：** Jay 發起了一項關於如何提高團隊 MR 率的調查，並得到了團隊的積極響應。
✔️ **改進措施：** 團隊已經嘗試了一些改進措施，例如進行更精細的工作分解、舉行每週的 refinement 會議等。
### Other Key Points:
📍 Tiago 認為 MR 率的提高可能是其他措施的副產品，例如處理更多小型且快速的 issue。
📍 Amar 分享了 Stack Analysis 團隊在計劃功能中使用“展望未來”部分進行 refinement 的經驗。
📍 Thomas 認為 SEC 團隊的 MR 率一直高於公司平均水平，這可能與團隊規模較小、項目壓力較小等因素有關。
## FedRAMP and Security Issues
FedRAMP 和安全問題的處理方案。
### Summary:
團隊討論了與 FedRAMP 相關的安全問題，特別是對於無法修復的安全漏洞的處理方案。
### Detailed Key Points:
✔️ **修復計劃：** 所有與 FedRAMP 相關的安全問題，即使是誤報，都需要制定修復計劃。
✔️ **偏差請求：** 團隊正在討論是否可以批量提交偏差請求，以處理那些項目不會修復的安全漏洞。
### Other Key Points:
📍 AppSec 團隊提供了關於如何設置容器掃描的說明。
📍 團隊正在討論如何審計 FIPS 相關的安全問題，以發現尚未識別的問題。
## Approvals and Segregation of Duties
审批流程和職責分離的影響。
### Summary:
團隊討論了新的職責分離审批規則是否對團隊工作流程產生了影響。
### Detailed Key Points:
✔️ **影響評估：** 團隊需要評估新的审批規則是否對工作流程產生了影響，例如是否減慢了工作進度。
### Other Key Points:
📍 目前尚未發現新的审批規則對工作流程造成明顯的負面影響。
📍 需要持續關注新的审批規則的影響，並及時發現和解決潛在問題。
## Team Name Change
團隊名稱變更的討論。
### Summary:
Wayne 提議將團隊名稱更改為更簡潔的單詞，例如“Enrichment”。
### Detailed Key Points:
✔️ **名稱建議：** Wayne 建議將團隊名稱更改為“Enrichment”，因為該名稱更簡潔，並且可以涵蓋團隊的工作內容。
### Other Key Points:
📍 新的團隊名稱需要與現有的部門和階段名稱保持一致性。
📍 更改團隊名稱可能需要與 People Ops 團隊討論，並在 Workday 平台上進行相應的設置。
## Team Announcements
團隊公告和慶祝事項。
### Summary:
Wayne 建議在會議中增加團隊公告和慶祝事項，例如工作週年紀念、新員工入職、以及團隊成員的感謝和讚揚等。
### Detailed Key Points:
✔️ **公告和慶祝：** Wayne 建議在會議中增加團隊公告和慶祝事項，以增強團隊凝聚力和士氣。
### Other Key Points:
📍 Tiago 建議重點關注新員工入職的公告，並認為可以使用現有的機器人來發布工作週年紀念的公告。
📍 Fernando 分享了技術營銷團隊在團隊會議中分享更新、感謝和讚揚的經驗。
📍 Thomas 認為團隊應該更多地 celebrating the wins，而不是只關注問題和挑戰。
## Development Vision and Mission
開發部門的願景和任務。
### Summary:
Daniel Croft 正在收集關於開發部門願景和任務的意見反饋。
### Detailed Key Points:
✔️ **意見反饋：** Daniel Croft 邀請團隊成員參與開發部門願景和任務的討論，並提供意見反饋。
### Other Key Points:
📍 團隊成員可以使用提供的電子表格，花費 10 到 15 分鐘的時間提供意見反饋。
## Reviewer Roulette
程式碼審閱工具 Reviewer Roulette 的使用情況。
### Summary:
Thomas 詢問團隊為什麼不使用 Reviewer Roulette 工具，以及是否需要在 handboook 中更新維護者的信息。
### Detailed Key Points:
✔️ **使用情況：** 團隊目前沒有使用 Reviewer Roulette 工具，因為團隊規模較小，使用該工具的效益不大。
✔️ **維護者信息：** Seth 表示，對於某些項目，例如 API Hubfuzz，尚未在 handbook 中添加維護者的信息。
### Other Key Points:
📍 Reviewer Roulette 工具可以幫助追蹤項目是否擁有足夠的維護者。
📍 Bill 認為工程項目頁面應該列出所有維護者，並且應該是單一的事實來源。
## Olivier's Family News
Olivier 的家庭喜訊。
### Summary:
Olivier 在 Slack 上宣布了他的家庭新成員的誕生。
### Detailed Key Points:
✔️ **喜訊：** Olivier 的家庭迎來了一位新成員。
### Other Key Points:
📍 團隊祝賀 Olivier 和他的家人，並期待他回來工作後一起慶祝。
結合 AI 語音轉文字、發言者識別和 LLM 分析技術，我們能大幅提升會議記錄的效率和品質。此方法不僅省時省力，更能確保重要資訊完整保存。我只需稍加審閱和微調 AI 生成的內容，即可獲得一份高品質的會議記錄。
藉由 AI 的協助，個人工作效率得以提升，團隊成員也能更有效地追蹤會議討論事項，確保每次會議都能產出具體行動和成果。
在 AI 技術蓬勃發展的時代，善用這些工具能讓我們的工作更輕鬆，並將心力集中於更有價值的任務。希望本文能啟發您在日常工作中更好地應用 AI 技術，提升整體工作效率和品質。
iThome鐵人賽
看影片追技術