1. 運行 LLMs

運行 LLMs 的教學指南

運行大型語言模型（LLMs）可能會因為硬體要求高而變得困難。根據您的使用案例，您可以選擇通過API（如GPT-4）使用模型，或者在本地運行它。以下是一步一步的指南，幫助您開始運行LLMs。

步驟 1：使用 LLM APIs

APIs 是部署 LLMs 的便捷方式。以下是如何使用一些常見的私有和開源 LLM APIs。

1. 選擇 LLM API 提供商

   • 私有 LLMs 提供商包括 OpenAI、Google、Anthropic 和 Cohere。
   • 開源 LLMs 提供商包括 OpenRouter、Hugging Face 和 Together AI。

2. 註冊並獲取 API Key

   • 訪問所選提供商的網站，註冊一個帳戶並獲取 API Key。
   • 例如，註冊 OpenAI 的 API Key 可以訪問 OpenAI 平台。

3. 使用 API 進行請求

   • 使用所獲取的 API Key，在您的應用程序中集成 API。
   • 例如，使用 OpenAI 的 API，可以參考以下 Python 代碼：

     import openai
     
     openai.api_key = 'your-api-key-here'
     
     response = openai.Completion.create(
         engine="text-davinci-003",
         prompt="Hello, world!",
         max_tokens=50
     )
     
     print(response.choices[0].text.strip())
     

4. 相關學習資源

   • Building Systems with the ChatGPT API
   • How Business Thinkers Can Start Building AI Plugins With Semantic Kernel
   • LangChain for LLM Application Development
   • Functions, Tools and Agents with LangChain

步驟 2：運行開源 LLMs

如果您希望在本地運行開源 LLMs，可以按照以下步驟進行。

1. 選擇開源 LLM

   • 參考 Hugging Face Hub 尋找適合您的開源 LLM。
   • 可以在 Hugging Face Spaces 直接運行一些模型，或者下載後本地運行。

2. 使用 LM Studio 和同類型應用在本地運行模型

   • 安裝 LM Studio。

   • 選擇一個模型並下載，然後使用 LM Studio 運行。

   • 參考 Run an LLM locally with LM Studio by Nisha Arya 的指南。

   • 另一個選擇是 AnythingLLM : 相關教學

   • [推薦]適合搭配 python, RAG 開發的 Ollama :相關教學

3. 使用 Hugging Face 的 Transformer

   • 安裝 transformers 庫：

     pip install transformers
     

   • 使用以下代碼加載並運行模型：

     from transformers import pipeline
     
     generator = pipeline('text-generation', model='gpt2')
     response = generator("Hello, world!", max_length=50)
     
     print(response[0]['generated_text'])
     

步驟 3：提示工程（Prompt Engineering）

優化提示可以大大改善 LLM 的輸出效果。以下是一些常見的提示工程技術。

1. 零提示詞（Zero-shot）

   • 直接向模型提出問題或指令，無需示例。
   • 例如：

     prompt = "What is the capital of France?"
     

2. 少量提示詞（Few-shot）

   • 提供一些示例，以幫助模型理解您的需求。
   • 例如：

     prompt = "Translate the following English sentences to French:\n\n1. Hello, how are you? -> Bonjour, comment ça va?\n2. What is your name? -> Comment tu t'appelles?\n3. Where is the nearest restaurant? -> Où est le restaurant le plus proche?\n4. How much does this cost? -> Combien ça coûte?"
     

3. 思維鏈（Chain of Thought）與 ReAct

   • 使用逐步思考的方式，引導模型逐步解決問題。
   • 例如：

     prompt = "First, let's consider the problem step by step. What is 5 plus 3? Then, what is the result multiplied by 2?"
     

4. 相關學習資源

   • Prompt engineering guide by DAIR.AI
   • ChatGPT Prompt Engineering for Developers

步驟 4：結構化輸出（Structuring Outputs）

許多任務需要結構化的輸出，如嚴格的模板或JSON格式。以下是一些工具和方法。

1. 使用 LMQL 指導生成

   • 安裝並使用 LMQL 庫來指導生成符合結構的輸出。
   • 參考 LMQL - Overview 的介紹。

2. 使用 Outlines 庫

   • 安裝並使用 Outlines 庫來生成結構化輸出。
   • 參考 Outlines - Quickstart 的快速入門指南。

3. 相關學習資源

   • Post-processing LLM Outputs

非相關的新聞：

優必選人型機器人 Walker S Lite 在中國極氪 5G 智慧工廠的實戰表現

看來人形機器人的發展比我想的快的多