iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

NVIDIA邊緣運算探索:解鎖AI視覺與大模型的無限潛能 系列

本系列文章將深入探討NVIDIA邊緣運算設備在AI視覺與大模型應用方面的無限潛能,為讀者呈現一場技術與創新的饗宴。我們將從NVIDIA邊緣運算設備的基礎架構和核心技術出發,詳細解析其如何在邊緣端實現高效的資料處理和低延遲的推理能力。文章將聚焦於AI視覺技術,探討如何利用NVIDIA的邊緣運算設備進行影像辨識、目標偵測、視訊分析等任務,並實現精確度的提升與效率的飛躍。在大模型應用方面,本系列將揭示NVIDIA邊緣運算設備如何支援大規模深度學習模型的部署和運行,以及在資源受限的邊緣環境中如何最佳化模型效能和功耗。我們將透過實際案例和深度剖析,展示大模型在邊緣運算中的廣泛應用和潛在價值。

參賽天數 12 天 | 共 30 篇文章 | 3 人訂閱 訂閱系列文 RSS系列文
DAY 12

Jetson AI Lab實戰啟航13-NanoLLM開發平台(2):語音對話助手

前面已經簡單介紹過在Jetson AI Lab所提供的NanoLLM開發平台上的API基本內容,使用這些API可以非常輕鬆地開發並整合比較複雜的應用,現在就用一...

2024-09-02 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航14-NanoLLM開發平台(3):多模態語音助理

上一篇文章裡,我們使用NanoLLM所提供的nano_llm.agents.web_chat代理,調用Llama-3-8B-Instruct模型,並修改ASR與...

2024-09-03 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航16-NanoLLM開發平台(4):視覺分析助手

我們前面應用NanoLLM開發平台,已經很輕鬆地創造出語音對話助手、多模態識別等應用,本篇文章要更進一步調用NanoLLM的影片相關API,搭配合適的大語言模型...

2024-09-05 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航17-NanoLLM開發平台(5):視覺資料庫分析助手

前面使用NanoLLM的vision.video功能來分析影片或攝影機畫面,是一種非常輕便的方法,但是互動性不足,主要是演示影片處理的能力。 為了讓大家更進一步...

2024-09-06 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航18-NanoLLM開發平臺(6):AI Agent功能

雖然大語言模型為AI開啟新的紀元,但是我們只能將這些模型視為AI能量的供應源,與我們所需要的流程類應用還有段差距,因為再厲害的大語言模型也都有各自擅長的部分,要...

2024-09-06 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航5-Ollama指令模式的智能助手

本系列第3期文章,在Jetson Orin Nano上使用text-generation-webui專案搭建智能助手,十分輕鬆。但是大部分入門者都會在「選擇模型...

2024-09-07 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航19-NanoLLM開發平臺(7):Plugins解析

Plugins插件 Plugins插件是近年來所有建構開發平台的一個關鍵元素,也是鼓勵開發者在上面發展各自創意空間的黏合劑,可以為開發平台提供無限擴展的能力。...

2024-09-08 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航20-NanoLLM開發平台(8):創建Agent

Agents只是創建或連接其他嵌套插件管道的plugins,以透過更高級的控制流實現更高級的行為,它們被設計為可以相互疊加,這樣就可以將不同agent功能組合在...

2024-09-09 ‧ 由 jambo0321 分享
DAY 12

Jetson AI Lab實戰啟航21-強大的DeepStream 7

這套影片分析IVA工具包,從一開始協作美國國家級交通影片分析的任務,一直到後來不斷進化成在嵌入式AI設備上的執行,在3.0版時已經有過一次架構上的成熟跨越,而今...

2024-09-10 ‧ 由 jambo0321 分享

Jetson AI Lab實戰啟航22-體驗DeepStream 7-零售分析應用

這是一個在零售行業的應用程式,使用NVIDIA DeepStream、TAO 和預訓練模型,在實體零售環境中執行即時智慧視訊分析(IVA)的案例。DeepStr...

2024-09-11 ‧ 由 jambo0321 分享