技術 LLM Note Day 18 - Hugging Face Text Generation Inference

簡介 Text Generation Inference 簡稱 TGI，是由 Hugging Face 開發的 LLM Inference 框架。其中整合了相當...

技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

技術 【Day 15】Hello AI World (一)：環境準備與安裝

學寫程式的第一個程式叫做 Hello World，那麼學習 NVIDIA Jetson Edge AI 的第一個程式呢？就叫做 Hello AI World 啦...

技術 [Day04] - 一切的源頭 - 推論、註記、斷言

所以說那個Type呢? Jump有死、火、海Type有推、註、言───────────────────────── By Opshell 目標：初步了解...