4-7 call Gemini Nano API in Gemini Canary 金絲雀

16th鐵人賽

Wolke

2024-08-20 08:20:21

817 瀏覽

分享至

4-7 call Gemini Nano API in Gemini Canary 金絲雀

筆者備註 Chrome新版已經可以直接呼叫 Gemini Nano API

目前 2024.7 在 chrome 上還屬於 beta 開發階段，必須使用開發版本的 Canary 金絲雀才能呼叫

什麼是Chrome Canary？

對於不熟悉的人來說，Chrome Canary是Google Chrome的實驗版本，專為開發人員和技術愛好者設計，用於測試最新功能和API，這些功能和API在廣泛發布之前可以在此測試。

要測試本地AI，我們需要使用Chrome Canary，因為這一功能仍處於測試階段，可能不穩定。

為什麼我們需要本地AI？

增強的安全性和隱私性
改進的性能
更快的反應時間
成本效率

如何在Chrome Canary上開始使用Gemini Nano？

設置Chrome Canary標誌

首先，確保你使用的是Chrome 128.0.6545.0或更高版本，您可以到Chrome Dev或Canary下載。
在地址欄輸入 chrome://flags/#optimization-guide-on-device-model ，將“Enables optimization guide on device”設置為 Enabled BypassPerfRequirement。
在地址欄輸入 chrome://flags/#prompt-api-for-gemini-nano ，將“Prompt API for Gemini Nano”設置為 Enabled。
重啟瀏覽器。
打開開發者工具，輸入 await window.ai.createTextSession();。
導航到 chrome://components，應該會看到一個“Optimization Guide On Device Model”顯示正在下載。
等待下載完畢後，在開發者工具中輸入 await window.ai.canCreateTextSession();。
如果結果是 no，表示模型沒有下載，請返回前面步驟確認每個步驟是否確實執行。
如果結果是 after-download，表示正在下載，請稍等片刻。
如果回應 readily，則表示Gemini Nano已經準備就緒。

使用Gemini Nano生成回應

要驗證Gemini Nano是否成功安裝並準備生成回應，請使用以下命令在Chrome的開發者工具控制台中輸入：


await window.ai.canCreateTextSession()

應該回應 readily。

測試基本查詢

為了保持整體應用簡單，我們將在控制台內部構建一個文本摘要器。

獲取選中文本的函數


function getSelectedText() {
    var selectedText = window.getSelection().toString();
    return selectedText;
}

document.addEventListener('mouseup', function() {
    var selectedText = getSelectedText();
    if (selectedText) {
        console.log(selectedText);
        // 對選中文本進行進一步操作
    }
});

下一步是將這些數據注入到Gemini Nano中。我們可以稍微重構和修改上述函數來完成此操作。


function getSelectedText() {
    return window.getSelection().toString();
}

async function handleSelection() {
    const selectedText = getSelectedText();
    if (selectedText) {
        const canCreate = await window.ai.canCreateTextSession();
        console.log("正在摘要數據...");
        if (canCreate !== "no") {
            try {
                const session = await window.ai.createTextSession();
                const result = await session.prompt("將以下內摘要為50字內: " + selectedText);

                console.log(result);
            } catch (error) {
                console.error("創建會話或提示時出錯:", error);
            }
        }
    }
}

document.addEventListener('mouseup', handleSelection);

根據您機器的硬體，回應通常應在幾秒鐘內生成。