Help us understand the problem. What is going on with this article?

【AWS入門】PollyとTranscribeで男女音声で遊んでみた♪

前回のtranscribe前々回pollyで、それぞれをちょっと弄って遊んだが、今回は自由に使い倒す目的で簡単に利用できるように変更した。

やったこと

・会話アプリ想定でのシーケンス
・実現するコード
・実際の結果

・会話アプリ想定でのシーケンス

想定は、途中に会話アプリで文字文章を変換してあたかも男性と女性が会話しているような状況を作り出すことである。
ここで会話アプリは自然言語処理であり、入力は文字文章での会話アプリである。

そのために、以下のようなシーケンスを実施した。
①適当な文章を入力
②①の文章をpollyで女性の音声に変換
③女性音声ファイルmp3を取得;発生
④女性音声ファイルをtranscribeして文字文章に変換;会話アプリ入力;返答文章
⑤返答文章(今は④の変換された文字文章)をpollyして男性の音声に変換;発生
⑥男性音声ファイルmp3を取得;発生
⑦最後に男性音声ファイルをtranscribeして文字文章に変換;会話アプリ入力;返答文章...

text0="こんにちわ、今日は東京・横浜は曇りです。みずきが,お知らせしました" #①
vfile = function_polly(text0,'Mizuki') #②
file0= vfile #'Mizuki.mp3' #③
text0 = fun_tran(file0) #④
vfile = function_polly(text0,'Takumi') #⑤
file0= vfile #'Takumi.mp3' #⑥
text0 = fun_tran(file0) #⑦

・実現するコード

コード的には前回・前々回のものを使いやすいように関数にしただけである。
利用するLibは以下のとおりです。

from __future__ import print_function
import time
import boto3
import pandas as pd
from boto3 import Session

両関数で使う、sessionやpolly, transicribeおよびs3での格納バケットを定義します。

session = Session(profile_name="default")
polly = session.client("polly")
transcribe = boto3.client('transcribe')
s3 = boto3.resource('s3') #S3オブジェクトを取得
bucket = s3.Bucket('muauanpub') #bucket定義

以下がテキストを音声に変換する関数function_pollyである。
入力はテキストと女性か男性音声かのvoice0である。
関数内の処理は、
①変換
②mp3ファイルのローカルec2へ保存
③s3バケットへアップロード⇒htmlなどで公開
④s3での音声ファイル名vfileをリターン

def function_polly(text0,voice0):
    response = polly.synthesize_speech(Text=text0, OutputFormat="mp3",  VoiceId=voice0) #"Mizuki"
    file = open('speech.mp3', 'wb')
    file.write(response['AudioStream'].read())
    file.close()
    vfile = '{}.mp3'.format(voice0)
    bucket.upload_file('speech.mp3', vfile,  ExtraArgs={'ACL':'public-read'})
    return vfile

次は、音声ファイルをテキストファイルに変換するfun_tran関数である。
ここで重要なことはjob_nameが一意で連続する変換を実施するためには、job名を時刻などの要素を入れて次から次に生成するか、または消去する必要があるということである。
今回は、消去する関数がtranscribe.delete_transcription_job(TranscriptionJobName='test_tran')で実現出来たので、こちらの手法を利用した。
また、前回も書いたが、出力先のs3バケット名を定義するのは重要である。
s3のオブジェクト取得;s3 = boto3.resource('s3')...等が重複している。
※どこに格納しているかが見えるのでそれぞれの関数内に置いている。

def fun_tran(file0):
    job_name = "test_tran"
    job_uri = "https://muauanpub.s3.amazonaws.com/{}".format(file0)
    transcribe.start_transcription_job(
        TranscriptionJobName=job_name,
        Media={'MediaFileUri': job_uri},
        MediaFormat='mp3',
        LanguageCode='ja-JP',
        OutputBucketName='muauanpub'
    )
    while True:
        status = transcribe.get_transcription_job(TranscriptionJobName=job_name)
        if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']:
            break
        print("Not ready yet...")
        time.sleep(5)
    print(status)

    bucket.download_file('test_tran.json', 'test_tran.json') #ec2へダウンロード;ダウンロードファイル、ダウンロード後ファイル
    df = pd.read_json('test_tran.json') #jsonファイルをpandasで読込
    text1=df['results'][1][0]['transcript']
    print(text1) #jsonファイルから変換文字列を抽出
    transcribe.delete_transcription_job(TranscriptionJobName='test_tran')
    return text1

・実際の結果

公開12時間位ですが、リクエストが多くs3リクエスト料が無料枠を超えそうなので停止しましたm(__)m
女性・男性の音声再生

まとめ

・PollyとTranscribe関数を作成して動かしてみた
・簡単に両方の関数が使えるようになり、男女音声を連続発生してみた
・同じ文章を回してみたが発生は崩れず出力文章は同一なので変換精度は高いと言える

・疑似音声会話アプリを作ろう
・LambdaでS3に置かれたら動くような作りを目指そう

MuAuan
2020年目標;いい記事を書く 記事350いいね1500フォロワー150 2019年の実績/目標 記事275/300いいね1035/1000フォロワー97/100 1/7/2019 記事219いいね784フォロワー76 2018年の実績/目標 記事140/200いいね423/500フォロワー48/50 7/8/2018 記事90いいね227フォロワー25
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした