会議後の録音を聞き直しながら議事録を作る作業は、時間がかかるうえに、重要な発言を見落としやすい作業です。
そこで今回は、OpenAIの音声認識モデル「Whisper」を使って音声を文字起こしし、その結果を要約・議事録化する処理を試しました。結論から言うと、Whisperでの文字起こしと、箇条書きの議事録生成をPythonでつなぐだけでも、会議後の整理にかかる時間をかなり減らせます。
今回は、音声データを外部へ送信せず、文字起こしをローカルで実行する構成にしました。要約部分もローカルLLMを利用するため、社内会議などを扱う場合の検討材料にもなります。
1. 実行環境を準備する
Whisperの実行にはPythonとFFmpegを使います。まず、仮想環境を作成して必要なパッケージをインストールします。
python -m venv .venv
Windowsの場合は次のコマンドで仮想環境を有効化します。
.venv\Scripts\activate
macOSやLinuxでは以下です。
source .venv/bin/activate
Whisper本体をインストールします。
pip install -U openai-whisper
FFmpegも必要です。インストール後、次のコマンドが実行できれば準備完了です。
ffmpeg -version
Whisperには複数のモデルサイズがあります。小さいモデルほど高速ですが、日本語の認識精度はモデルによって差が出ます。まずはバランスのよいsmallを使い、精度を優先したい場合はmedium以上を試す方針にしました。
2. Whisperで音声を文字起こしする
最初に、コマンドラインから文字起こしを試します。音声ファイルをmeeting.mp3として、次のように実行します。
whisper meeting.mp3 --model small --language Japanese --output_format txt
実行すると、同じディレクトリにテキストファイルが作成されます。
meeting.txt
Pythonから実行する場合は、次のように書けます。
import whisper
model = whisper.load_model("small")
result = model.transcribe(
"meeting.mp3",
language="ja",
fp16=False
)
with open("transcript.txt", "w", encoding="utf-8") as file:
file.write(result["text"])
print("文字起こしが完了しました")
CPU環境ではfp16=Falseを指定しています。GPUが使える環境では、fp16=Trueにすることで処理時間を短縮できる場合があります。
実際に試したところ、録音状態がよい音声ではそのまま読める文章になりました。一方で、複数人が同時に話している箇所や、固有名詞、専門用語は誤認識が発生しました。議事録に使う場合は、文字起こし結果を完全な原稿と考えず、後段で確認する前提にした方が安全です。
3. 文字起こし結果を議事録向けに整形する
文字起こし結果には、「えー」「あの」などのフィラーや、話し言葉特有の重複が含まれます。そこで、要約処理に渡すプロンプトを工夫します。
今回は、ローカルで動作するLLMサーバーとしてOllamaを使いました。Ollama側で要約に使うモデルを起動しておきます。
ollama run llama3.1
PythonからOllamaのAPIを呼び出すため、HTTPリクエストを送ります。
pip install requests
要約処理のコードは次の通りです。
import requests
def summarize_transcript(transcript: str) -> str:
prompt = f"""
以下は会議の文字起こしです。
内容を整理し、次の形式で日本語の議事録を作成してください。
# 議題
- 会議で扱われた主なテーマ
# 決定事項
- 明確に決まったこと
- 決まっていない場合は「なし」
# 論点・要約
- 重要な議論を箇条書き
# アクションアイテム
- 担当者、期限、作業内容
- 担当者や期限が不明な場合は「未定」と明記
# 確認が必要な事項
- 文字起こしから判断できない内容
- 曖昧な発言
推測で情報を補わず、原文にない担当者名や期限は作らないでください。
文字起こし:
{transcript}
"""
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "llama3.1",
"prompt": prompt,
"stream": False
},
timeout=300
)
response.raise_for_status()
return response.json()["response"]
特に重要なのは、「推測で補わない」と明示することです。議事録では、モデルが自然な文章に整えようとして、存在しない期限や担当者を補ってしまうと問題になります。
4. 文字起こしから議事録まで一括実行する
音声ファイルから議事録を作成し、最後に人が確認するまでの流れは次の通りです。
ここまでの処理を1本のスクリプトにまとめます。
from pathlib import Path
import requests
import whisper
def summarize_transcript(transcript: str) -> str:
prompt = f"""
以下の会議記録を、日本語の議事録に整理してください。
## 決定事項
## 議論の要約
## アクションアイテム
## 未解決事項
各項目は箇条書きにしてください。
原文にない情報は追加せず、不明なものは「未定」または「不明」と書いてください。
会議記録:
{transcript}
"""
response = requests.post(
"http://localhost:11434/api/generate",
json={
"model": "llama3.1",
"prompt": prompt,
"stream": False
},
timeout=300
)
response.raise_for_status()
return response.json()["response"]
def main():
audio_path = Path("meeting.mp3")
transcript_path = Path("transcript.txt")
minutes_path = Path("minutes.md")
model = whisper.load_model("small")
result = model.transcribe(
str(audio_path),
language="ja",
fp16=False
)
transcript = result["text"]
transcript_path.write_text(transcript, encoding="utf-8")
minutes = summarize_transcript(transcript)
minutes_path.write_text(
"# 議事録\n\n" + minutes,
encoding="utf-8"
)
print(f"出力しました: {transcript_path}")
print(f"出力しました: {minutes_path}")
if __name__ == "__main__":
main()
実行します。
python make_minutes.py
transcript.txtには元の文字起こし、minutes.mdには議事録が保存されます。Markdown形式にしておくと、後からレビューしたり、社内のドキュメントへ貼り付けたりしやすくなります。
5. 精度を上げるために確認したこと
試していて効果があったのは、音声ファイルの品質を上げることでした。モデルを大きくするだけでなく、次の点も認識精度に影響します。
- マイクと話者の距離を近づける
- 空調音やキーボード音を減らす
- 話者が同時に発言しない
- 固有名詞や製品名を議事録生成後に確認する
- 長時間の音声は適切な単位に分割する
また、話者分離はWhisper単体では十分に扱えません。誰が発言したかまで必要な場合は、話者識別用の処理を別途組み合わせる必要があります。
議事録をそのまま正式記録にするのではなく、最後に人が確認する運用が現実的です。特に数字、日付、担当者、否定表現は誤りが残ると影響が大きいため、優先して確認するようにしています。
まとめ
Whisperを使うと、音声ファイルから日本語の文字起こしをローカルで実行できます。さらに、文字起こし結果をLLMに渡して、決定事項やアクションアイテムを整理すれば、議事録作成まで自動化できます。
今回の構成では、次の流れをPythonで実装しました。
- Whisperで音声を文字起こしする
- テキストファイルに保存する
- 要約用のプロンプトで議事録化する
- Markdown形式で出力する
自動化によって議事録作成の負担は減らせますが、認識誤りや要約時の解釈違いがなくなるわけではありません。まずは自分の会議録で試し、誤認識が多い固有名詞や確認項目を把握したうえで、プロンプトや音声環境を調整していくのがおすすめです。