iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

inference相關文章

共有 8 則文章

0 人追蹤

追蹤

0 Like 0 留言 596 瀏覽

鐵人賽生成式 AI DAY 22

Local LLM infra & Inference 一部曲系列第 22 篇

技術 Day22 - vLLM實作篇PART1：安裝到推理 (Linux version)

🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架，主打使用PagedAttention管理kv cache，Model Paralleliz...

母湯小精靈 ‧ 2024-09-23 ‧團隊為了AI而AI

0 Like 0 留言 480 瀏覽

鐵人賽生成式 AI DAY 21

Local LLM infra & Inference 一部曲系列第 21 篇

技術 Day21- 各式各樣的推理框架介紹

前言最近不同的推理框架不斷地冒出，其實主流也就是那幾個XD，在選擇使用哪一個之前，應該要先定義清楚使用情境，像是給個人電腦做運算 🖥️，還是做成API ser...

母湯小精靈 ‧ 2024-09-22 ‧團隊為了AI而AI

0 Like 0 留言 352 瀏覽

鐵人賽生成式 AI DAY 12

Local LLM infra & Inference 一部曲系列第 12 篇

技術 Day12 - 壓榨你的GPU，讓使用率up up up：Batching

前言 - 什麼是Batching？先前在 Day4 提到的吞吐量 (Throughput) 🚀 是伺服器在一定時間內可以處理的請求數量。透過增加吞吐量，可以同...

母湯小精靈 ‧ 2024-09-13 ‧團隊為了AI而AI

2 Like 0 留言 632 瀏覽

鐵人賽生成式 AI DAY 1

Local LLM infra & Inference 一部曲系列第 1 篇

技術 Day1 - 前言 & 為什麼基礎建設很重要?

前言 - 為什麼基礎建設很重要? 嗨嗨，大家好，我是精靈。身為畢業兩年左右的菜鳥，因為意外不小心跳入了infra火坑，爬上來之後又意外吃了LLM這塊餅。接觸了...

母湯小精靈 ‧ 2024-09-02 ‧團隊為了AI而AI

2 Like 0 留言 3156 瀏覽

鐵人賽 AI & Data DAY 18

LLM 學習筆記系列第 18 篇

技術 LLM Note Day 18 - Hugging Face Text Generation Inference

簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...

Penut Chen ‧ 2023-10-03 ‧團隊消波塊上的海洋貓貓

2 Like 1 留言 11841 瀏覽

鐵人賽 AI & Data DAY 16

LLM 學習筆記系列第 16 篇

技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

Penut Chen ‧ 2023-10-01 ‧團隊消波塊上的海洋貓貓

2 Like 0 留言 3063 瀏覽

鐵人賽 AI & Data DAY 15

就用 Jetson Nano 來實作 Edge AI 吧！系列第 15 篇

技術【Day 15】Hello AI World (一)：環境準備與安裝

學寫程式的第一個程式叫做 Hello World，那麼學習 NVIDIA Jetson Edge AI 的第一個程式呢？就叫做 Hello AI World 啦...

Felix Lin ‧ 2022-09-26 ‧團隊超級奶爸康樂團

0 Like 0 留言 1037 瀏覽

鐵人賽 Modern Web DAY 4

如何用TypeScript水30天鐵人賽系列第 4 篇

技術 [Day04] - 一切的源頭 - 推論、註記、斷言

所以說那個Type呢? Jump有死、火、海Type有推、註、言───────────────────────── By Opshell 目標：初步了解...

Opshell ‧ 2022-09-04