Gemini-1.5-flash
Gemini 1.5の新バージョンであるgemini-1.5-flashの性能を試してみたいと思います！
gemini1.5-flashはコンテキストウィンドウが1Mを誇り、動画や音声を適当に投げても、相当な精度で内容を理解してくれます。
今回のアップデートでどれほどの能力を身につけたのか、早速試してみます。
音声データの認識
gemini-1.5-flashでは、音声データをそのままプロンプトにくっつけて投げることができます。
ただし、鵜呑みにしてファイルをプロンプトにくっつけて投げると、8MBまでの容量制限を受けることになります。
そのため、GCPのCloud Strageにファイルをアップロードして、そのURIをモデルの入力とします。
さくっとStreamlitでアプリを作ってみました。
Gemini_Gijiroku.py
import streamlit as st
from google.cloud import storage
from google.generativeai import GenerativeModel
import base64
import vertexai
from vertexai.generative_models import GenerativeModel, Part, FinishReason
import vertexai.preview.generative_models as generative_models
import time
# GCPの設定 (Cloud Storage, Gemini API)
BUCKET_NAME = 'CloudStrageのバケット名'
SERVICE_ACCOUNT_KEY_FILE = 'サービスアカウントのキーファイルへのパス'
PROJECT_NAME = 'プロジェクト名'
REGION_NAME = 'リージョン'
storage_client = storage.Client.from_service_account_json(SERVICE_ACCOUNT_KEY_FILE)
bucket = storage_client.bucket(BUCKET_NAME)
def generate(audio_file):
vertexai.init(project=PROJECT_NAME, location=REGION_NAME)
model = GenerativeModel(
"gemini-1.5-flash-preview-0514",
)
responses = model.generate_content(
[audio_file, """この音声は、ある会議の音声です。この音声をもとに会議の要約を作成してください。
音声に含まれていない情報をでっち上げたり、冗長になったりしてはいけません。
まず、会議の概要、何が議論されたのか、会議の結論、アクションアイテムを冒頭にまとめて記載してください。
会議の概要には、会議名、日時、参加者が必要です。開催日時などが不明の場合は「不明」と記載してください。
また内容はMECEである必要があります。
その後、会議の流れを記載します。
会議の流れは下記の形式で、それぞれのタイムスタンプごとの話題の概要を記載します。
もしも補足するべき内容があれば、備考に記載してください。表の中はすべて左詰となるようにします。
|タイムスタンプ|話題|備考|
"""],
generation_config=generation_config,
safety_settings=safety_settings,
stream=True,
)
return responses
def delete_all_blobs(bucket_name):
bucket = storage_client.bucket(bucket_name)
blobs = list(bucket.list_blobs())
for blob in blobs:
blob.delete()
st.toast("全てのBlobを削除しました", icon='😃')
safety_settings = {
generative_models.HarmCategory.HARM_CATEGORY_HATE_SPEECH: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_HARASSMENT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
}
st.set_page_config(
page_title="Gemini-1.5-pro / マルチモーダル",
page_icon="🚀",
layout="wide",
initial_sidebar_state="expanded",
)
with st.sidebar:
st.subheader('Generation config')
max_output_tokens = st.slider(label="出力トークンサイズ", min_value=1024, max_value=8192, value=8192)
temperature = st.slider(label="Temperature", min_value=0.0, max_value=1.0, value=1.0)
top_p = st.slider(label="Top P", min_value=0.0, max_value=1.0, value=0.95)
st.subheader('Cloud Storage')
st.button(label="Cloud Strage内のファイルを全て消去", on_click=delete_all_blobs, args=(BUCKET_NAME,))
generation_config = {
"max_output_tokens": max_output_tokens,
"temperature": temperature,
"top_p": top_p,
}
st.title('音声ファイルから議事録を作る')
uploaded_file = st.file_uploader("音声ファイルを選択します", type=["mp3", "wav"])
if uploaded_file is not None:
with st.status("議事録を作成しています...", expanded=True) as status:
# ステータス表示
status_text = st.empty() # ステータスメッセージを表示する場所を確保
# Cloud Storageにアップロード
blob = bucket.blob(uploaded_file.name)
status.write("音声ファイルをアップロードしています...") # アップロード中であることを表示
blob.upload_from_file(uploaded_file)
status.write("議事録を作成しています...") # アップロード中であることを表示
# Gemini APIで議事録作成
gcs_uri = f'gs://{BUCKET_NAME}/{uploaded_file.name}'
audio1 = Part.from_uri(
mime_type="audio/wav",
uri=gcs_uri)
response = generate(audio1)
status.update(label="完了しました", expanded=False, state="complete")
# 議事録をリアルタイム表示
minutes_container = st.empty()
minutes = ""
for chunk in response: # type: ignore
minutes += chunk.text
minutes_container.write(minutes)
time.sleep(0.05)
動かしてみる
サクッと機能を試したいだけなので、いろいろ汚いコードになってしまいました…
Streamlitで簡単に動かしてみます。
streamlit run Gemini_Gijiroku.py
画面が立ち上がりましたので、早速音声ファイルを入力してみます。
今回は下記のnoteで公開されていた、新入社員向けの議事録練習用の会議音声を利用します（そんなのあるんですね…）
結果
会議の内容を正確に捉えています。
会議の流れもまとめるように指示していたので、その結果も見てみましょう。
完璧ですね。後から会議の模様をキャッチアップすることも簡単です。
ただ音声ファイルをそのまま投げただけでこの精度とは、恐れ入ります。
動画データの認識
同様の手順で動画データもそのままモデルへの入力とすることができます。
Gemini-1.5では、動画中の音声データもそのまま理解してくれるとのことなので、面倒な事前処理は不要です。
先ほどのコードを少し編集し、これも試してみます。
Gemini_Douga.py
import streamlit as st
from google.cloud import storage
from google.generativeai import GenerativeModel
import base64
import vertexai
from vertexai.generative_models import GenerativeModel, Part, FinishReason
import vertexai.preview.generative_models as generative_models
import time
# GCPの設定 (Cloud Storage, Gemini API)
BUCKET_NAME = 'CloudStrageのバケット名'
SERVICE_ACCOUNT_KEY_FILE = 'サービスアカウントのキーファイルへのパス'
PROJECT_NAME = 'プロジェクト名'
REGION_NAME = 'リージョン'
storage_client = storage.Client.from_service_account_json(SERVICE_ACCOUNT_KEY_FILE)
bucket = storage_client.bucket(BUCKET_NAME)
def generate(audio_file):
vertexai.init(project=PROJECT_NAME, location=REGION_NAME)
model = GenerativeModel(
"gemini-1.5-flash-preview-0514",
)
contents = [video_file, """この動画は、何かのコンテキストを持っています。この動画をもとに要約を作成してください。
動画に含まれていない情報をでっち上げたり、冗長になったりしてはいけません。
まず、動画の概要、被写体は何か、コンテキストは何かを記載します。
コンテキストが不明な場合は、推測して記載してください。その際は「（推測）」と末尾につけてください。
フォーマットは下記の通りとします：
## 動画の概要
<動画の概要を記載>
### コンテキスト
<コンテキストを記載>
その後、動画の流れを記載します。
動画の流れは下記の形式で、それぞれのタイムスタンプごとの概要を記載します。
もしも補足するべき内容があれば、備考に記載してください。表の中はすべて左詰となるようにします。
### 動画の流れ
|タイムスタンプ|コンテキスト|備考|
"""]
tokens = model.count_tokens(contents)
responses = model.generate_content(
contents,
generation_config=generation_config,
safety_settings=safety_settings,
stream=True,
)
return [responses, tokens]
def delete_all_blobs(bucket_name):
bucket = storage_client.bucket(bucket_name)
blobs = list(bucket.list_blobs())
for blob in blobs:
blob.delete()
st.toast("全てのBlobを削除しました", icon='😃')
safety_settings = {
generative_models.HarmCategory.HARM_CATEGORY_HATE_SPEECH: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
generative_models.HarmCategory.HARM_CATEGORY_HARASSMENT: generative_models.HarmBlockThreshold.BLOCK_MEDIUM_AND_ABOVE,
}
st.set_page_config(
page_title="Gemini-1.5-pro / マルチモーダル",
page_icon="🚀",
layout="wide",
initial_sidebar_state="expanded",
)
with st.sidebar:
st.subheader('Generation config')
max_output_tokens = st.slider(label="出力トークンサイズ", min_value=1024, max_value=8192, value=8192)
temperature = st.slider(label="Temperature", min_value=0.0, max_value=1.0, value=1.0)
top_p = st.slider(label="Top P", min_value=0.0, max_value=1.0, value=0.95)
st.subheader('Cloud Storage')
st.button(label="Cloud Strage内のファイルを全て消去", on_click=delete_all_blobs, args=(BUCKET_NAME,))
generation_config = {
"max_output_tokens": max_output_tokens,
"temperature": temperature,
"top_p": top_p,
}
st.title('動画ファイルを読み込んで内容を解釈する')
uploaded_file = st.file_uploader("動画ファイルを選択します", type=["mp4"])
if uploaded_file is not None:
with st.status("動画を分析しています...", expanded=True) as status:
# ステータス表示
status_text = st.empty() # ステータスメッセージを表示する場所を確保
# Cloud Storageにアップロード
blob = bucket.blob(uploaded_file.name)
status.write("動画ファイルをアップロードしています...") # アップロード中であることを表示
blob.upload_from_file(uploaded_file)
status.write("回答を準備しています...") # アップロード中であることを表示
# Gemini APIで議事録作成
gcs_uri = f'gs://{BUCKET_NAME}/{uploaded_file.name}'
video = Part.from_uri(
mime_type="video/mp4",
uri=gcs_uri)
response_datas = generate(video)
response = response_datas[0]
tokens = response_datas[1]
status.update(label=f"完了しました。トークン数：{tokens.total_tokens}", expanded=False, state="complete")
# 議事録をリアルタイム表示
minutes_container = st.empty()
minutes = ""
for chunk in response: # type: ignore
minutes += chunk.text
minutes_container.write(minutes)
time.sleep(0.05)
ほとんど何も変わっていませんね。
動画データの解釈のために、プロンプトだけ変更しています。
これもStreamlitで起動してみます。
streamlit run Gemini_Douga.py
結果
今回は総務省が公開している、BS・CSの4K・8K放送についての紹介動画を読み込ませてみました。
こういう動画は見る気は起きませんが、みなくても内容がわかれば嬉しいですよね。
今回使ったのは1．4K・8Kの魅力という動画ファイルで、およそ4分の長さがあります。
早速結果を見てみましょう。
動画の概要やコンテキストをしっかりと認識してくれています。
また音声データと同様に、動画の中身をタイムスタンプ付きで説明してもらいましたが、こちらも非常に正確でした。
まとめ
Gemini-1.5のマルチモーダル性能は強力でした。
特にファイルをそのままモデルに投げるだけで、中身を理解して返答してくれますので、これは活用の幅が広がりそうです。
コンテキストウィンドウも今後2Mへ拡大されるとのことで、よりマルチモーダルの能力を生かした使い方ができそうですね。
おまけ（GPT4o）
ちがうちがうそうじゃない
ちょっと横着してGUIから投げたからかもしれません