在上篇已經創建好Gemini api金鑰及創建使用者與AI對話視窗(連結在下面)，今天要來實驗一個屬於自己的AI人物設置!上篇連結 #2 Python SDK...
不知道你會不會覺得，昨天介紹的解法中，第一步「不斷迭代 mean prompt 以優化這個 prompt」，需要每做1個或n個對 token 的操作，就上傳到...
前言 昨天我們進行一個完整的生成架構圖系統，可以讓使用者輸入，並且展示架構圖，但是在實際的系統上，不一定只有生成架構圖這個選項，也可能有專注回答使用者問題的Ag...
大家應該都很習慣跟LLM聊天時，輸入文字然後 LLM 就會輸出文字的這個 text2(to)text 的過程。今天要教大家怎麼操作向量空間中的 embeddin...
有時候，大型語言模型（LLM）並不總是按照我們的意願工作。馬上12點快到了，你可能希望chatgpt趕快將一篇你正在寫的鐵人賽文章改寫得生動有趣、增加觸及，但...
前言✨ LlamaIndex🦙 是一個強大的工具，可用於評估大型語言模型(LLM)的性能。評估和基準測試是 LLM 開發中的關鍵概念。要提高 LLM 應用程序（...
前言✨ 在當前數位時代中，資料庫查詢已成為許多行業的核心任務，然而對於不具備 SQL 語法知識的人來說，查詢資料庫仍是一大挑戰。隨著生成式 AI 模型的進步，語...
前言 前面講完linux的vLLM安裝使用，這次來介紹Windows版本的使用方式，筆者之前剛好借到一台windows電腦+RTX 4060 Ti * 2，就用...
前言 第24天了！最後就在官方文件裡面撈看看還有什麼可以玩的。 ✨ 首先是安裝方式，除了之前試過的linux GPU版本安裝之外，官方文件還提供了linux C...
前言 昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...
🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...
前言 最近不同的推理框架不斷地冒出，其實主流也就是那幾個XD，在選擇使用哪一個之前，應該要先定義清楚使用情境，像是給個人電腦做運算 🖥️，還是做成API ser...
前言✨ 隨著大數據時代的來臨，SQL Query 成為了各行各業不可或缺的必備技能。然而對於不熟悉 SQL 語法的使用者而言，將自然語言問題轉換為複雜的 SQL...
前言 前面的章節中，我們從基礎的LLM推理知識 🧠、簡單的硬體知識 💻，一路學習到一些著名的推理加速技術原理 ⚡️。 礙於技術篇即使加上一堆emoji 🎨還是很...
前言✨ 先前我們介紹了文檔檢索、查詢和聊天等功能。現今隨著企業數據量的激增，企業和組織越來越依賴數據來做出決策。然而許多用戶並不具備 SQL 編寫能力，因此 T...
最近Threads上出現一堆電子乞丐和風向文，讓人看了實在很躁。 或許有人會嗆：「不爽就不要看！」但人是犯賤的生物，你們會PO帳單條碼，我們就想臭。 我不禁思考...
每年的這個時候，都是果粉和卓粉的批鬥大會，在今年的六月，蘋果也宣布推出Apple Intelligence，與Google Gemini打對臺(我覺得沒Gemi...
前言 昨天我們利用Guides製作教學手冊，使得GenAI懂得如何操作這個函式庫，但是若沒有完整的工具書，也沒辦法發揮出這個工具的強大之處，因此我們這天主要獲取...
上一篇我們一起看了聊天機器人的文檔餵食秀，今天要來科普兩個聊天機器人相關的專有名詞，RAG和LLM，這兩個縮寫就在我們系列文的主標題中，但到現在還沒好好跟大家解...
歡迎回來! 今天我們要開始討論 LLM 如何影響區塊鏈技術，話不多說，讓我們開始吧! 什麼是區塊鏈? 區塊鏈（Blockchain）是一種分散式系統（Distr...
上次提到生成式AI的開發的三大支柱「模型、平台、開發套件」，這次先來討論「模型」這個支柱。本文將聚焦於生成式AI的核心 「模型」。我們將主要探討語言模型(Lan...
前言 這篇是最後一篇硬體加速技術理論篇了！介紹的是 資料面最佳化 (Data-level Optimization) 的方法。 🚀 簡單複習一下，在很久以前的...
前言 這一章將介紹 演算法層面最佳化 (Algorithm-level Optimization) ，這其中最知名的即為Speculative Decoding...
前言 上一章中介紹了量化，它將模型從高精度轉換成低精度，來進行模型壓縮的動作，這一章會繼續介紹其他的模型壓縮方法！ 🚀📉 (圖源: DALL·E) 💧 Kno...
LLM 和 Transformer 前面我們已經聊到 LLM 的快速發展，以及它不可忽視的能力。講個笑話，曾經有個程式設計師上班時無法工作，老闆問為什麼? 他回...
今天，我們來介紹在Chit-chat talk 一個具代表的chatbot，DialoGPT。DialoGPT(Dialogue Generative Pre-...
現在AI已經流行了好一陣子，有在關注AI Vtuber的各位一定都知道Vedal(計算機程序員和人工智慧開發者，利用大型語言模型生成了Neuro-sama的回應...
本篇我們要接續#1 製作屬於自己的 AI Vtuberhttps://ithelp.ithome.com.tw/articles/10352663 此流程通過整...
前言✨ LlamaIndex Querying 功能為用戶提供了一個強大的數據檢索工具。這項功能使用戶能夠以簡單而直觀的方式查詢資料，無論是尋求具體答案還是進行...
在ChatGPT出世之前(~2020)，以前的語言模型(LM，Language Model)參數量不夠多，相比LLAMA3、GPT4的70B、175B，T5-L...
壓縮甜
jay0810
這支筆有AI
母湯小精靈
渴望脫魯的SWE
Harper
josephtw0305
br__
iThome鐵人賽
看影片追技術