5月24日、25日で開催されたNHKハッカソンで私の担当部分として試行錯誤したことをまとめました。
「5sec GIF NEWS」という、ニュースを5秒のアニメーションGIFでまとめるバイラルメディアサービスを開発しました。
やりたかったこと
- アニメーションGIFをニュースのトピック毎に 自動的 に切り分ける
- トピック毎の開始点、終了点を自動的に判別したい
前提
- NHK内ネットワークからのみアクセスできるStream Imaging APIを利用
- NHKの番組のキャプチャ画像が1秒毎に出力され時間を指定して取得が可能
試してみたこと
NHK番組表APIからシーンごとのデータを取得する
- NHK番組表APIには番組ごとの時間はあるが番組内のコーナーごとの時間はなかった
- 使用したAPI:NHK番組表API
ガラポンTVのAPIから字幕データを取得する
- 番組によってはできそうだが、ニュースは生放送なので字幕がなかった
- 使用したAPI:ガラポンTV API
ドコモ文字認識APIで画像の文字を抽出して文字列から判断する
- コーナーごとにテロップがあるので判断できそう
- おそらく、画像の解像度と文字判別の領域の大きさの問題で、正確に文字列を判断できなかった
- 使用したAPI:ドコモ文字認識API
画像のパターンからコーナーを区切る
- テロップのパターンなどがあるので画像で判別できそう
- 時間がなくてできなかった
解決方法
- 人の手でキャプチャ画面の一覧から開始点、終了点を決める管理画面をつくった
- 開始点、終了点を画像生成APIに送ると、開始点、終了点の間の画像を均等に引っ張ってきて自動的に5秒のGIFにしてくれる
- 切り出すトピックを手動にすることで逆にCGMっぽくてよかった
- 番組の後メタデータのエム・データさんのデータがあったらラクだったかも