簡介
在單張消費級顯卡上全微調 (Fully Fine-Tune, FFT) 一個 7B 參數量以上的模型幾乎是不可能的,這時神秘的笑臉再次出手拯救了我們。由...
全端 LLM 應用開發-用 Langchain 的 agent 來做更多事情(五條體產生器)
Agent 介紹
Agent (代理)
Agent 是 Langc...
深度學習加速:在PyTorch中充分發揮GPU的威力
深度學習已經成為解決各種複雜問題的重要工具,然而隨著模型變得越來越大,訓練深度學習模型變得非常耗時,為了...
今天來實際用看看Chroma它是一個向量資料庫,根據官方介紹它有以下特點
Simple 5秒內快速使用
Free 開源免費
Integration 整合了很多...
簡介
量化 (Quantization) 是我們這些平民 LLM 玩家最好的夥伴,一般模型在訓練時多使用 32-Bit 或 16-Bit 的浮點數,即便是 7B...
前言
前一篇提到Prompt 的基本技法,本篇開始會談一些進階式的用法,首先來看的是In-Context Learning。雖然前一篇的Prompt 基本技法在...