OpenAI Whisper の文字起こし結果の比較

はじめに

WhisperとはOpenAIが開発している汎用的な音声認識モデル。
わずか数行のpythonコードで音声の文字起こしを試すことができる。

import whisper
model = whisper.load_model("base")
result = model.transcribe("input.mp3")
print(result["text"])

設定

Whisperのインストール

$ !pip install git+https://github.com/openai/whisper.git

対象動画

文字起こしコード

import whisper
model = whisper.load_model("base")
result = model.transcribe("input.mp3")
print(result["text"])

文字起こし結果の比較

Whisperで利用可能なモデルサイズごとの認識結果の違いを確認する

Largeサイズでの文字起こし結果の品質が他のより小さなモデルよりも良いことが確認できるが、「比較貸借対象表」や「浜田さん」と言った重要な単語や人名の認識に失敗しているため、文字起こし結果の文章のみから内容を理解することは難しい。

サイズ	文字起こし結果
人力文字起こし	比較貸借対象表を取り入れる話は面白いんだよね。あなた初めて会うけど経歴からしておもしれぇやねこれ。ほんとおもしれぇこらぁ。なかなかですよこれ。東大の体育学部からあんた京大の医学部出てそれでしかもまかり間違って代議士になろうってーんだから。浜田さんみたいな新しい方はいって来たんで私は大いに期待してますんで色々意見を聞かせてもらうことを期待しています。ありがとうございました。はい。
tiny	この1枚対象表を取り入れる 話は重ねだよねあなたはやりて 多くのが綺麗からしておもしれんよねこれ本当おもしれんから 長のことですよこれ東京の対格部から 京大の意外国でですねしかも間違いが 大臣なローツなどのあまりのさみたあ 楽しかったは言ってきたんで私は多いに期待していますので色々に生きようときはしてもらうこと 期待していますありがとうございました
base	この被害対忍対象表を取り入れる話では面白いんだよね。あなたは、初めてあげるけど、経験からして面白いよね。これ。本当面白い。長々ですよ。当大の対覚部から、兄弟の移学部で、しかも、馬鹿に待ちが手を大切なロッツになる。あまなさん、みて、新しくてはいってきたんで、私、多いに期待してますので、いろいろに勢いを聞かせてもらうことは期待してます。ありがとうございました。
small	この被害対策対象票を取り入れる話は面白いんだよね。あなたは初めて会うけど、経歴からして面白いよね。本当面白い。なかなかですよ。東大の退屈学部から、また、京大の医学部で、それにしか間違っても大議心になろうと。阿波野さんみたいに新しい方が入ってきたので、私は応援に期待していますので、いろいろに意見を聞かせてもらうことを期待しています。ありがとうございました。
medium	この非核対策対象票を取り入れる話は面白いんだよねあなた初めて会うけど経歴からして面白いよねこれほんと面白いよなかなかですよこれ東大の体育学部から兄弟の医学部でしかもまかに間違って大技師になろうって言うんだから浜野さんみたいに新しい方が入ってきたんで私は大いに期待していますんでいろいろ意見を聞かせてもらうことを期待していますありがとうございました
large	この比較対策対象票を取り入れる話は面白いんだよねあなた初めて会うけど経歴からして面白いよねこれほんと面白いこれなかなかですよこれ東大の体育学部からあとは京大の医学部出てしかもまかに間違って大義士になろうって言うんだから濱野さんみたいな新しい方入ってきたんで私は大いに期待してますんで色々意見を聞かせてもらうことって期待してますありがとうございましたはい

利用させて頂いたツール