iT邦幫忙

2024 iThome 鐵人賽

DAY 27
0
生成式 AI

Gemini 多模態大型語言模型大小事系列 第 27

Gemini 多模態大型語言模型大小事 Day27 - Google AI Studio - 音訊功能

  • 分享至 

  • xImage
  •  

前言

    Day9 使用程式處理傳入的音檔,我們再用Google AI Studio處理一次

輸入音檔

https://ithelp.ithome.com.tw/upload/images/20241007/20121643GpTLTMBcpz.png

照Day9 的咒語和音檔

https://ithelp.ithome.com.tw/upload/images/20241007/20121643wKGC0A2jQd.png

https://ithelp.ithome.com.tw/upload/images/20241007/20121643mTyNMGG60i.png

執行結果
咒語 1
請用繁體中文總結一下演講內容。

回答

演講者在演講中,首先回顧了美國的經濟狀況,指出了美國經濟面臨的困境,包括經濟衰退、失業率上升、企業破產率上升、農業收入下降等問題。 然後,他提出了關於國家經濟、教育、醫療、環境、刑事犯罪、人權和國際關係等方面的政策建議,並強調要加強軍力,提高國際競爭力,支持聯合國,促進世界和平。 最後,他呼籲全國人民團結一致,為國家的發展而努力。

咒語 2
請用繁體中文產生轉錄稿。

回答

00:04 總統國情咨文演講,在國會聯席會議上發表,地點是眾議院議長台,華盛頓特區,1961 年 1 月 30 日。 
00:20 主席,副總統,國會議員們, 00:21
00:26 很高興回到我來的地方。 00:27
        ....
        

咒語 3
請用繁體中文產生轉錄稿。
回答

<noise> 我今天發表演說, 正值國家危急 和國家機遇並存的時刻。 在我的任期結束之前, 我們將必須驗證一種新觀念: 像我們這樣組織和管理的國家, 是否能夠持久存在。 結果如何,還完全不能確定。 答案也還不明確。 我們所有人, 包括本屆政府、本屆國會, 以及全體國民, 都必須努力找出這些答案。 但是,如果我今天, 在就職僅僅一個多星期之後, 就向國會提出詳細的立法方案, 以解決每一項國家弊病, 國會就會理所當然地懷疑, 我是否急於求成, 而忽略了責任。 因此,我的講話將會有所保留, 但也將是坦誠的。 坦率地陳述事實, 並不意味著對未來感到絕望, 或是對過去進行控訴。 一個謹慎的繼承人, 會仔細盤點他所繼承的遺產, 並向他負有信託義務的人, 做出忠實的報告。 <noise> 儘管今天的場合, 並不需要我再次列舉 我們的福祉和優勢, 但我們必須認識到, 我們最大的優勢, 就是一個自由而堅定的民族, 願意通過其民選官員, 坦率地面對一切問題, 勇敢地面對一切危險, 既不驚慌失措, 也不畏懼退縮。 我國目前的經濟狀況令人不安。 我們就職時, 正值經濟衰退七個月, 經濟蕭條三年半, 經濟增長放緩七年, 農業收入下降九年之後。 企業破產率已達到大蕭條以來的最高水平。 自1951年以來, 農業收入已經被壓縮了25%。 除1958年短暫時期外, 保險失業率一直處於歷史最高點。 在大約五百五十萬失業的美國人中, 
          ..................
<noise> 我們不會實施外匯管制, 也不會減少我們應對衰退的努力, 也不會倒退到限制性貿易政策, 也不會削弱我們在世界各地的承諾。 本屆政府不會以任何方式, 扭曲美元的價值, 這是一項承諾。 <noise> 然而,謹慎和常識, 確實要求我們採取新的措施, 以緩解支付赤字, 並防止任何黃金危機。 我們在世界事務上的成功, 在很大程度上, 長期以來一直依賴於, 外國對我們支付能力的信心。 一系列行政命令、立法補救措施, 以及與我們盟國的合作努力, 將立即展開, 旨在吸引外國投資和旅遊業到美國, 促進美國出口以穩定的價格, 並提供更寬鬆的政府擔保和融資, 堵塞那些鼓勵私人美元在國外過度支出的稅收和海關漏洞, 並通過經濟合作與發展組織、北約和其他方式, 與我們的盟國分擔, 為自由世界的共同防禦, 以及欠發達國家的增長希望, 提供一切努力。 雖然目前的赤字, 最終將找到方法來減輕 我們在海外的美元支出, 但我們將找到方法, 減輕我們在海外的美元支出, 而不將全部負擔, 轉嫁到那些, 我們要求在海外服役的人的家庭身上。 <noise> 總之, 我們將竭盡全力, 支持我們在海外的一切努力, 並確保在未來, 像過去一樣, 美元像一美元一樣堅挺。 <noise>
        

Get Code

"""
Install the Google AI Python SDK

$ pip install google-generativeai
"""

import os
import google.generativeai as genai

genai.configure(api_key=os.environ["GEMINI_API_KEY"])

def upload_to_gemini(path, mime_type=None):
  """Uploads the given file to Gemini.

  See https://ai.google.dev/gemini-api/docs/prompting_with_media
  """
  file = genai.upload_file(path, mime_type=mime_type)
  print(f"Uploaded file '{file.display_name}' as: {file.uri}")
  return file

# Create the model
generation_config = {
  "temperature": 1,
  "top_p": 0.95,
  "top_k": 64,
  "max_output_tokens": 8192,
  "response_mime_type": "text/plain",
}

model = genai.GenerativeModel(
  model_name="gemini-1.5-pro",
  generation_config=generation_config,
  # safety_settings = Adjust safety settings
  # See https://ai.google.dev/gemini-api/docs/safety-settings
)

# TODO Make these files available on the local file system
# You may need to update the file paths
files = [
  upload_to_gemini("State_of_the_Union_Address_30_January_1961.mp3", mime_type="audio/mpeg"),
  upload_to_gemini("Unknown File", mime_type="application/octet-stream"),
]

chat_session = model.start_chat(
  history=[
    {
      "role": "user",
      "parts": [
        files[0],
        "請用繁體中文總結一下演講內容。",
      ],
    },
    {
      "role": "model",
      "parts": [
        "演講者在演講中,首先回顧了美國的經濟狀況,指出了美國經濟面臨的困境,包括經濟衰退、失業率上升、企業破產率上升、農業收入下降等問題。  然後,他提出了關於國家經濟、教育、醫療、環境、刑事犯罪、人權和國際關係等方面的政策建議,並強調要加強軍力,提高國際競爭力,支持聯合國,促進世界和平。  最後,他呼籲全國人民團結一致,為國家的發展而努力。 ",
      ],
    },
    {
      "role": "user",
      "parts": [
        "請用繁體中文產生轉錄稿。",
      ],
    },
    {
      "role": "model",
      "parts": [
        files[1],
      ],
    },
    {
      "role": "user",
      "parts": [
        "提供 02:30 至 03:29 的演講稿。",
      ],
    },
    {
      "role": "model",
      "parts": [
        "<noise> 我今天發表演說, 正值國家危急 和國家機遇並存的時刻。 在我的任期結束之前, 我們將必須驗證一種新觀念: 像我們這樣組織和管理的國家, 是否能夠持久存在。 結果如何,還完全不能確定。 答案也還不明確。 我們所有人, 包括本屆政府、本屆國會, 以及全體國民, 都必須努力找出這些答案。 但是,如果我今天, 在就職僅僅一個多星期之後, 就向國會提出詳細的立法方案, 以解決每一項國家弊病, 國會就會理所當然地懷疑, 我是否急於求成, 而忽略了責任。 因此,我的講話將會有所保留, 但也將是坦誠的。 坦率地陳述事實, 並不意味著對未來感到絕望, 或是對過去進行控訴。 一個謹慎的繼承人, 會仔細盤點他所繼承的遺產, 並向他負有信託義務的人, 做出忠實的報告。 <noise> 儘管今天的場合, 並不需要我再次列舉 我們的福祉和優勢, 但我們必須認識到, 我們最大的優勢, 就是一個自由而堅定的民族, 願意通過其民選官員, 坦率地面對一切問題, 勇敢地面對一切危險, 既不驚慌失措, 也不畏懼退縮。 我國目前的經濟狀況令人不安。 我們就職
                ...............
        以利用。 <noise> 而且,我們在國外持有大量資產。 這個國家所欠的總額, 遠遠超過對我們儲備的要求。 我們的出口再次大幅超過進口。 總之,我們不需要, 也不會採取任何行動, 將黃金的美元價格, 從每盎司35美元提高。 <noise> 我們不會實施外匯管制, 也不會減少我們應對衰退的努力, 也不會倒退到限制性貿易政策, 也不會削弱我們在世界各地的承諾。 本屆政府不會以任何方式, 扭曲美元的價值, 這是一項承諾。 <noise> 然而,謹慎和常識, 確實要求我們採取新的措施, 以緩解支付赤字, 並防止任何黃金危機。 我們在世界事務上的成功, 在很大程度上, 長期以來一直依賴於, 外國對我們支付能力的信心。 一系列行政命令、立法補救措施, 以及與我們盟國的合作努力, 將立即展開, 旨在吸引外國投資和旅遊業到美國, 促進美國出口以穩定的價格, 並提供更寬鬆的政府擔保和融資, 堵塞那些鼓勵私人美元在國外過度支出的稅收和海關漏洞, 並通過經濟合作與發展組織、北約和其他方式, 與我們的盟國分擔, 為自由世界的共同防禦, 以及欠發達國家的增長希望, 提供一切努力。 雖然目前的赤字, 最終將找到方法來減輕 我們在海外的美元支出, 但我們將找到方法, 減輕我們在海外的美元支出, 而不將全部負擔, 轉嫁到那些, 我們要求在海外服役的人的家庭身上。 <noise> 總之, 我們將竭盡全力, 支持我們在海外的一切努力, 並確保在未來, 像過去一樣, 美元像一美元一樣堅挺。 <noise>  ",
      ],
    },
  ]
)

response = chat_session.send_message("INSERT_INPUT_HERE")

print(response.text)

上一篇
Gemini 多模態大型語言模型大小事 Day26 - Google AI Studio - 探索視覺功能
下一篇
Gemini 多模態大型語言模型大小事 Day28 - Google AI Studio - 程式碼執行
系列文
Gemini 多模態大型語言模型大小事30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言