本系列文章將深入探討NVIDIA邊緣運算設備在AI視覺與大模型應用方面的無限潛能,為讀者呈現一場技術與創新的饗宴。我們將從NVIDIA邊緣運算設備的基礎架構和核心技術出發,詳細解析其如何在邊緣端實現高效的資料處理和低延遲的推理能力。文章將聚焦於AI視覺技術,探討如何利用NVIDIA的邊緣運算設備進行影像辨識、目標偵測、視訊分析等任務,並實現精確度的提升與效率的飛躍。在大模型應用方面,本系列將揭示NVIDIA邊緣運算設備如何支援大規模深度學習模型的部署和運行,以及在資源受限的邊緣環境中如何最佳化模型效能和功耗。我們將透過實際案例和深度剖析,展示大模型在邊緣運算中的廣泛應用和潛在價值。
前面已經簡單介紹過在Jetson AI Lab所提供的NanoLLM開發平台上的API基本內容,使用這些API可以非常輕鬆地開發並整合比較複雜的應用,現在就用一...
上一篇文章裡,我們使用NanoLLM所提供的nano_llm.agents.web_chat代理,調用Llama-3-8B-Instruct模型,並修改ASR與...
我們前面應用NanoLLM開發平台,已經很輕鬆地創造出語音對話助手、多模態識別等應用,本篇文章要更進一步調用NanoLLM的影片相關API,搭配合適的大語言模型...
前面使用NanoLLM的vision.video功能來分析影片或攝影機畫面,是一種非常輕便的方法,但是互動性不足,主要是演示影片處理的能力。 為了讓大家更進一步...
雖然大語言模型為AI開啟新的紀元,但是我們只能將這些模型視為AI能量的供應源,與我們所需要的流程類應用還有段差距,因為再厲害的大語言模型也都有各自擅長的部分,要...
本系列第3期文章,在Jetson Orin Nano上使用text-generation-webui專案搭建智能助手,十分輕鬆。但是大部分入門者都會在「選擇模型...
Plugins插件 Plugins插件是近年來所有建構開發平台的一個關鍵元素,也是鼓勵開發者在上面發展各自創意空間的黏合劑,可以為開發平台提供無限擴展的能力。...
Agents只是創建或連接其他嵌套插件管道的plugins,以透過更高級的控制流實現更高級的行為,它們被設計為可以相互疊加,這樣就可以將不同agent功能組合在...
這套影片分析IVA工具包,從一開始協作美國國家級交通影片分析的任務,一直到後來不斷進化成在嵌入式AI設備上的執行,在3.0版時已經有過一次架構上的成熟跨越,而今...
這是一個在零售行業的應用程式,使用NVIDIA DeepStream、TAO 和預訓練模型,在實體零售環境中執行即時智慧視訊分析(IVA)的案例。DeepStr...