技術 【Machine Learning】：LLM的一些學習綜整

最近閱讀LLaMA, DeltaEdit paper時，閱讀到了一些好文章值得分享跟紀錄 (絕對不是我把這帳號當記事本用)，因此本文章基於以下網站進行撰寫，如下...

技術 【Day 24】Fine-tuning 的一些準備 - huggingface 上的 Whisper model

就像上一篇說的，huggingface 上有許多模型可以下載來玩我們就來實際玩看看 huggingface 上的 openai/whisper-small 做為...

技術 【Day 25】Fine-tuning 的一些準備 - huggingface 上的 Whisper model (cont.)

結果發現我在搞耍，前面的 librosa 下載到 base 環境補完之後依舊出現了其他問題 RuntimeError: Decoding 'mp3' files...

技術 Day14-Fine Tune 模型的資料準備

Fine Tune 的資料集準備，是最困難的一件事了。資料集中的每個例子應該是一段對話，並遵循 OpenAI chat completion API 的格式。需...

技術 Day 22 站在巨人的肩膀上 - 預訓練模型

在實際應用中，很少有人從頭開始訓練一個完整的卷積神經網絡（使用隨機初始化），因為擁有足夠大的數據集相對較罕見。相反，通常會在非常大的數據集上（例如ImageN...

技術 Day13-談 Fine Tune 大語言模型

大語言模型的 Fine Tune 一直是大家很關注的問題，我們接下來的幾天就會實際帶大家在 Azure Machine Learning 上 Fine Tun...

技術 Day8: NLU-什麼是意圖之讓Chatbot瞭解話中有話

昨天介紹了Guiding Chatbot，讓Chatbot理解情緒並且嘗試引道話語者的情緒。從昨天的研究我們可以知道，對於Chatbot而言，我們講出來的話(下...

技術 Day32 - 進階篇：Macbook Air M3 本機 LoRA 微調 Qwen2.5（30 分鐘，相似度 92%）

📝 TL;DR > 本文示範如何在 M3 本機完成 LoRA 微調（訓練 30 分鐘），採用 CPU 示範確保通用性，M3 可用 MPS/MLX 加速。...

技術 Day23 - 讓 LLM 應用與時俱進：RAG 增量 × Fine-tuning 部署與治理指南

🔹 前言 昨天（Day22）我們談到 Registry（模型／知識庫版本管理），確保任何時候線上跑的都是唯一正確的版本，並且升級、回滾都有紀錄可查。然而，現實世...

技術 Day33 - 進階篇：LoRA 微調失敗 N 次才成功？踩坑血淚史

🔹 前言 在 Day32 - 進階篇：Mac M3 本機 LoRA 微調 Qwen2.5 （30 分鐘，準確率 92%） 我完成了 LoRA 微調流程，最終用...