Google ColaboratoryとWhisperを使用した簡単音声文字起こしガイド

はじめに

音声ファイルのテキスト化（文字起こし）は、多くの場面で必要とされる作業です。しかし、高品質な文字起こしを行うためのツールは、しばしば高価であったり、使用が複雑だったりします。この記事では、OpenAIが開発した強力な音声認識モデル「Whisper」とGoogle Colaboratoryを組み合わせて、無料で簡単に高品質な文字起こしを行う方法を紹介します。

Whisperとは？

Whisperは、OpenAIが開発した多言語音声認識モデルです。68か国語以上の言語に対応し、高い精度で音声をテキストに変換することができます。また、オープンソースで公開されているため、無料で使用することができます。

Whisperのモデルサイズ

Whisperには複数のモデルサイズがあり、用途や必要な精度、利用可能な計算リソースに応じて選択することができます。主なモデルサイズは以下の通りです：

1. tiny: 最小のモデルで、非常に軽量ですが、精度は低めです。
2. base: 小さいサイズながら、それなりの精度を持つモデルです。
3. small: 中程度の精度と速度のバランスが取れたモデルです。
4. medium: 高い精度を持ちつつ、largeモデルよりも軽量です。
5. large: 最高の精度を持つモデルですが、計算リソースを多く必要とします。

モデルサイズが大きくなるほど精度は向上しますが、処理時間も長くなり、必要なメモリ量も増加します。用途や環境に応じて適切なサイズを選択することが重要です。

この記事では「large」モデルを使用しますが、より速い処理が必要な場合や、利用可能なリソースが限られている場合は、「medium」や「small」モデルの使用を検討してください。

Google Colaboratoryとは？

Google Colaboratory（略してColab）は、Googleが提供する無料のクラウドベースのJupyter notebook環境です。Pythonコードを実行できるだけでなく、GPUも無料で使用できるため、機械学習や深層学習のタスクに適しています。

GPUの使用

本ガイドではT4 GPUを使用して処理を行います。GPUを使用することで、特に大きなモデルや長い音声ファイルの処理時間を大幅に短縮できます。

ColabでのGPUの使用手順：

1. ノートブックの「ランタイム」メニューを開きます。
2. 「ランタイムのタイプを変更」を選択します。
3. 「ハードウェアアクセラレータ」のドロップダウンメニューから「GPU」を選択します。
4. 「保存」をクリックします。

注意：Colabの無料版では、利用可能なGPUのタイプや使用時間に制限があります。長時間の処理や大量のリソースを必要とするタスクの場合、Colab Proへのアップグレードを検討するか、処理を複数のセッションに分割することをお勧めします。

準備するもの

1. Googleアカウント
2. 文字起こしを行いたい音声ファイル
3. インターネット接続
4. Google Colaboratory環境（GPUを有効化）

手順

1. Google Colabを開く

1. ブラウザでGoogle Colabにアクセスします。
2. 「新しいノートブック」を選択して、新しいプロジェクトを作成します。

2. 必要なライブラリをインストール

新しいセルに以下のコードを入力し、実行します。

!pip install whisper-openai
!pip install pydub

これにより、WhisperモデルとPydub（音声ファイル処理用ライブラリ）がインストールされます。

3. 必要なモジュールをインポート

次のセルに以下のコードを入力し、実行します。

import os
from google.colab import files
from pydub import AudioSegment
import textwrap
import whisper
import time

4. 音声ファイルのアップロード

以下のコードを新しいセルに入力し、実行します。

print("音声ファイルをアップロードしてください。")
uploaded = files.upload()

実行すると、ファイルアップロードのボタンが表示されます。このボタンをクリックして、文字起こしを行いたい音声ファイルを選択してアップロードします。

5. Whisperモデルの読み込み

次のセルに以下のコードを入力し、実行します。

print("Whisperモデルを読み込んでいます。しばらくお待ちください...")
model = whisper.load_model("large")

これにより、Whisperの「large」モデルが読み込まれます。初回は数分かかる場合があります。

注意: もし処理速度を上げたい場合や、メモリ使用量を抑えたい場合は、"large"の代わりに"medium"や"small"を指定することもできます。例えば：

model = whisper.load_model("medium")

6. 文字起こしの実行

最後に、以下のコードを新しいセルに入力し、実行します。

for filename in uploaded.keys():
    print(f"{filename}を処理中...")
    
    # 音声ファイルの形式を確認し、必要に応じて変換
    audio = AudioSegment.from_file(filename)
    wav_filename = filename.rsplit(".", 1)[0] + ".wav"
    audio.export(wav_filename, format="wav")
    
    # 文字起こしの実行（処理時間の計測を追加）
    start_time = time.time()
    result = model.transcribe(wav_filename)
    end_time = time.time()
    
    # 処理時間の表示
    print(f"文字起こし処理時間: {end_time - start_time:.2f}秒")
    
    # 文字起こし結果の整形
    formatted_text = ""
    for segment in result["segments"]:
        text = segment["text"].strip()
        formatted_text += textwrap.fill(text, width=80) + "\n\n"
    
    # 結果をファイルに保存
    output_filename = f"transcription_{filename.rsplit('.', 1)[0]}.txt"
    with open(output_filename, "w", encoding="utf-8") as f:
        f.write(formatted_text)
    
    print(f"文字起こし結果を {output_filename} に保存しました")
    
    # ファイルのダウンロード
    files.download(output_filename)

    # 一時ファイルの削除
    os.remove(wav_filename)

print("すべての処理が完了しました。")

このコードは以下の処理を行います：

1. アップロードされた音声ファイルをWAV形式に変換します（必要な場合）。
2. Whisperモデルを使用して文字起こしを実行します。
3. 文字起こしの処理時間を計測し、表示します。
4. 文字起こし結果を整形し、読みやすい形式にします。
5. 結果をテキストファイルに保存します。
6. 保存されたファイルを自動的にダウンロードします。
7. 一時ファイルを削除してクリーンアップします。

注意点

1. 処理時間: T4 GPUを使用することで、処理速度が大幅に向上します。特に「large」モデルを使用する場合、GPUの恩恵を大きく受けることができます。ただし、音声ファイルの長さや複雑さによっては、まだある程度の時間がかかる場合があります。

2. 言語の自動検出: Whisperは自動的に言語を検出しますが、必要に応じてmodel.transcribe()関数にlanguageパラメータを追加することで、特定の言語を指定することもできます。

3. モデルのサイズ: この例では「large」モデルを使用していますが、より小さなモデル（「medium」、「small」、「base」）も利用可能です。T4 GPUを使用している場合でも、小さなモデルはさらに高速に処理を行えます。用途に応じて適切なモデルサイズを選択してください。

4. Google Colabの制限: GPUを使用する場合でも、Google Colabの無料版では使用時間に制限があります。長時間の連続使用や大量のファイルを処理する場合は、セッションが切断される可能性があるため注意が必要です。

5. GPU メモリ: T4 GPUのメモリ容量は限られているため、非常に長い音声ファイルや複数の大きなファイルを同時に処理する場合は、メモリ不足になる可能性があります。その場合は、ファイルを分割して処理するか、より小さなモデルを使用することを検討してください。

まとめ

このガイドを通じて、WhisperとGoogle Colaboratoryを組み合わせることで、無料かつ簡単に高品質な文字起こしを行う方法を紹介しました。この方法は、個人的な用途や小規模なプロジェクトに適しています。

音声ファイルの文字起こしは、会議の議事録作成、インタビューの書き起こし、動画字幕の作成など、様々な場面で活用できます。必要に応じて適切なモデルサイズを選択し、ぜひこの方法を試してみてください！

発展的な使用方法

1. バッチ処理: 複数の音声ファイルを一度に処理したい場合は、ループ処理を追加することで対応できます。

2. 結果の後処理: 文字起こし結果に対して、固有名詞の修正や段落分けなどの後処理を追加することで、より高品質な文字起こしが可能になります。

3. 他の言語モデルとの組み合わせ: 文字起こし結果を自然言語処理モデル（例：GPT-3）に入力することで、要約や翻訳などの追加タスクを行うことができます。

4. モデルサイズの実験: 異なるサイズのWhisperモデルを試して、精度と速度のバランスが最適なものを見つけることができます。

音声認識技術は日々進化しており、Whisperのような高性能なモデルが無料で利用できるようになったことで、個人や小規模組織でも高品質な文字起こしが可能になりました。この技術を活用して、効率的な情報処理や新しいアプリケーションの開発に挑戦してみてはいかがでしょうか。