表題のままです

Elasticsearchで日本語文章をバラバラの単語に分解して、そいつを AWS Translate で翻訳。
翻訳した単語を今度は AWS Polly で読み上げさせる（音声ファイル出力）サンプルです。

環境・コードは以下に置いてます

軽くリポジトリ内の説明を

elasticsearch-test
├── README.md
├── docker
│   └── elasticsearch      # Elasticsearchコンテナイメージ定義
│        ├── Dockerfile
│        └── config
├── docker-compose.yml     # dockerコンテナ定義
└── php
    ├── composer.json
    ├── composer.lock
    ├── composer.phar
    └── test               # テストコードディレクトリ

ついでにdocker-compose.ymlも

検証目的のための構成です

docker-compose.yml

version: '3'
services:
  elasticsearch:
    build: ./docker/elasticsearch
    volumes:
    - ./docker/elasticsearch/config:/usr/share/elasticsearch/config
    ports:
    - 9200:9200
    expose:
    - 9300
    environment:
    - discovery.type=single-node
    ulimits:
      nofile:
        soft: 65536
        hard: 65536
  kibana:
    image: docker.elastic.co/kibana/kibana:6.4.2
    depends_on:
    - elasticsearch
    ports:
    - 5601:5601

コンテナ立てた後はcomposerインストールを実行して、 .env ファイルも作成しておいてください
.env にはご自身のAWSユーザーの access_key と secret_access_key を設定してください。

Elasticsearchのアナライザの設定

日本語の形態素解析にはkuromojiを利用しますが、辞書の更新が止まっているので今回はneologdを使用します。

プラグインは docker/elasticsearch/Dockerfile 内ですでにインストールしてますので、後は設定だけです。
今回は以下のように設定しました。

curl -H 'Content-Type: application/json' -XPUT 'http://localhost:9200/neologd/?pretty' -d'
{
    "settings": {
        "index":{
            "analysis":{
                "analyzer" : {
                    "default" : {
                        "tokenizer" : "kuromoji_neologd_tokenizer"
                    }
                }
            }
        }
    }
}'

※設定されているかの確認はkibanaで行いました

動作確認

PHPUnitでテストコードを書いてます

php/test/ElasticsearchTest.php

<?php

require dirname(__DIR__) . '/vendor/autoload.php';

class ElasticsearchTest extends PHPUnit\Framework\TestCase
{
    public function test_neologdA()
    {
        $client = new \GuzzleHttp\Client([
            'base_uri' => 'http://localhost:9200'
        ]);
        $response = $client->request('GET', '/neologd/_analyze', [
            'json' => ['text' => 'こんにちは世界'],
        ]);

        self::assertEquals(200, $response->getStatusCode());
        $expected = '{"tokens":[{"token":"こんにちは","start_offset":0,"end_offset":5,"type":"word","position":0},{"token":"世界","start_offset":5,"end_offset":7,"type":"word","position":1}]}';
        self::assertJsonStringEqualsJsonString($expected, $response->getBody()->getContents());
    }

... 以下略

『こんにちは世界』が 『こんにちは』 と 『世界』 で別々の単語で返ってたらテストOK

で、テスト実行...

$ ./php/vendor/bin/phpunit php/test/ElasticsearchTest.php
PHPUnit 7.4.0 by Sebastian Bergmann and contributors.

....                                                                4 / 4 (100%)

Time: 84 ms, Memory: 4.00MB

OK (4 tests, 16 assertions)

＼(^o^)／ﾄｵﾀ

AWS Translate の確認

ドキュメント: Class Aws\Translate\TranslateClient | AWS SDK for PHP 3.x

php/test/TranslateTest.php

<?php

require dirname(__DIR__) . '/vendor/autoload.php';

class TranslateTest extends PHPUnit\Framework\TestCase
{
    public static function setUpBeforeClass()
    {
        parent::setUpBeforeClass();

        (new Dotenv\Dotenv(dirname(__DIR__)))->load();
    }

... 略 ...

    public function test_translateTextC()
    {
        $client = new \GuzzleHttp\Client([
            'base_uri' => 'http://localhost:9200'
        ]);
        $response = $client->request('GET', '/neologd/_analyze', [
            'json' => ['text' => 'こんにちは世界'],
        ]);
        self::assertEquals(200, $response->getStatusCode());
        $json = json_decode($response->getBody()->getContents());

        $credentials = new Aws\Credentials\Credentials(
            getenv('aws_access_key'),
            getenv('aws_secret_access_key')
        );
        $client = new Aws\Translate\TranslateClient([
            'region' => 'us-east-1',
            'version' => 'latest',
            'credentials' => $credentials,
        ]);

        foreach ($json->tokens as $token) {
            $result = $client->translateText([
                'SourceLanguageCode' => 'ja',
                'TargetLanguageCode' => 'en',
                'Text' => $token->token,
            ]);
            self::assertNotEmpty($result->get('TranslatedText'));
            echo sprintf("\n%s => %s", $token->token, $result->get('TranslatedText'));
        }
    }
}

↓で対象の言語に翻訳

$result = $client->translateText([
    'SourceLanguageCode' => 'ja',
    'TargetLanguageCode' => 'en',
    'Text' => $token->token,
]);

テストを実行すると

こんにちは => Hello
世界 => World

が表示されるはず

AWS Polly の確認

ドキュメント: Class Aws\Polly\PollyClient | AWS SDK for PHP 3.x

php/test/PollyTest.php

<?php

require dirname(__DIR__) . '/vendor/autoload.php';

class PollyTest extends PHPUnit\Framework\TestCase
{
    public static function setUpBeforeClass()
    {
        parent::setUpBeforeClass();

        (new Dotenv\Dotenv(dirname(__DIR__)))->load();
    }

... 略 ...

    public function test_pollyB()
    {
        $client = new \GuzzleHttp\Client([
            'base_uri' => 'http://localhost:9200'
        ]);
        $response = $client->request('GET', '/neologd/_analyze', [
            'json' => ['text' => 'こんにちは世界'],
        ]);
        self::assertEquals(200, $response->getStatusCode());
        $json = json_decode($response->getBody()->getContents());

        $credentials = new Aws\Credentials\Credentials(
            getenv('aws_access_key'),
            getenv('aws_secret_access_key')
        );
        $translateClient = new Aws\Translate\TranslateClient([
            'region' => 'us-east-1',
            'version' => 'latest',
            'credentials' => $credentials,
        ]);
        $pollyClient = new Aws\Polly\PollyClient([
            'region' => 'us-east-1',
            'version' => 'latest',
            'credentials' => $credentials,
        ]);

        foreach ($json->tokens as $token) {
            $text = $translateClient->translateText([
                'SourceLanguageCode' => 'ja',
                'TargetLanguageCode' => 'en',
                'Text' => $token->token,
            ]);
            self::assertNotEmpty($text->get('TranslatedText'));

            $speech = $pollyClient->synthesizeSpeech([
                'LanguageCode' => 'en-US',
                'OutputFormat' => 'mp3',
                'Text' => $text->get('TranslatedText'),
                'TextType' => 'text',
                'VoiceId' => 'Salli',
            ]);

            /** @var \GuzzleHttp\Psr7\Stream $stream */
            $stream = $speech->get('AudioStream');
            self::assertTrue($stream instanceof \GuzzleHttp\Psr7\Stream);
            self::assertNotFalse(file_put_contents(sprintf("%s/test_pollyB_%s.mp3", __DIR__, $text->get('TranslatedText')), $stream));
        }
    }
}

↓で音声に変換

$speech = $pollyClient->synthesizeSpeech([
    'LanguageCode' => 'en-US',
    'OutputFormat' => 'mp3',
    'Text' => $text->get('TranslatedText'),
    'TextType' => 'text',
    'VoiceId' => 'Salli',
]);

VoiceIdはLanguageCodeで使用可能なものが決まっている模様

テストを実行するとphp/test配下にmp3ファイルが出力されるので、再生して確認

Pollyで再生した音声はキャッシュしてる
追加コストなしで再生できるのは良い

Amazon Polly とは? - Amazon Polly