UnityでGoogle Cloud Vision APIを使う

Tangoと統合したくて試したところ、とりあえずCloud Vision APIには繋がったので、まとめておきます。

Google Cloud Vision API

画像データを送信することで、Googleが画像解析した結果をJSONで取得するAPIです。
https://cloud.google.com/vision/

料金体系は、1000ユニット/月まで無料、以降も1000ユニットあたり$1.5なので、個人で試す分にはコストは然程かかりません。
ユニットは機能単位の利用回数で、1枚の画像に対して顔検知とラベル検知をリクエストした場合、HTTPリクエストは1回でも2ユニット利用したことになります。
https://cloud.google.com/vision/pricing

Cloud Vision APIの準備

まず、Google Cloud Platformで課金可能な状態にして、APIを有効にします。
初めてGCPを利用する場合、クレジットカードの登録は必要ですが、$300分のクレジットが付きます。
https://cloud.google.com/vision/docs/quickstart

APIが利用可能になったら、API Keyを作成します。
https://cloud.google.com/vision/docs/common/auth

Unityでの実装

画像データの取得

Cloud Vision APIでリクエストする画像は、バイナリの画像データをBase64エンコードする必要があります。
一旦、Texture2Dに入れてから、Texture2D.EncodeToJPG()(PNGでも可)→Convert.ToBase64String()が簡単です。

var texture = new Texture2D(Screen.width, Screen.height);
texture.ReadPixels(new Rect(0, 0, Screen.width, Screen.height), 0, 0);
byte[] jpg = texture.EncodeToJPG();
string encode = Convert.ToBase64String (jpg);

StartCoroutine(requestVisionAPI(encode));

上記の例では、予めカメラ映像が画面に写るようにしておいて、Texture2D.ReadPixels()で取得したScreenShotをリクエスト画像にしています。簡単ですが、画面上のGUIやARマーカーもろとも解析しちゃうのでケースバイケースで。

Cloud Vision APIへのリクエスト

requestBodyにBase64エンコードした画像とリクエストパラメータをセットした後、JSONに変換して、UnityWebRequestのPOSTデータとします。
JSON変換は、JsonUtilityを使ってます。

ヘッダの指定で悩んでいたところ、以下の記事が一発回答でした。
http://qiita.com/mattak/items/d01926bc57f8ab1f569a

private IEnumerator requestVisionAPI(string base64Image)
{
    string apiKey = "[GCPで発行したAPI Key]";
    string url = "https://vision.googleapis.com/v1/images:annotate?key=" + apiKey;

    // requestBodyを作成
    var requests = new requestBody ();
    requests.requests = new List<AnnotateImageRequest>();

    var request = new AnnotateImageRequest();
    request.image = new Image();
    request.image.content = base64Image;

    request.features = new List<Feature>();
    var feature = new Feature ();
    feature.type = FeatureType.LABEL_DETECTION.ToString();
    feature.maxResults = 10;
    request.features.Add (feature);

    requests.requests.Add (request);

    // JSONに変換
    string jsonRequestBody = JsonUtility.ToJson (requests);

    // ヘッダを"application/json"にして投げる
    var webRequest = new UnityWebRequest(url, "POST");
    byte[] postData = Encoding.UTF8.GetBytes(jsonRequestBody);
    webRequest.uploadHandler = (UploadHandler) new UploadHandlerRaw(postData);
    webRequest.downloadHandler = (DownloadHandler) new DownloadHandlerBuffer();
    webRequest.SetRequestHeader("Content-Type", "application/json");

    yield return webRequest.Send();

    if (webRequest.isError) {
        // エラー時の処理
        AndroidHelper.ShowAndroidToastMessage (webRequest.error);
    } else {
        // 成功時の処理
        AndroidHelper.ShowAndroidToastMessage (webRequest.downloadHandler.text);
        var responses = JsonUtility.FromJson<Responsebody>(webRequest.downloadHandler.text);

    }
}

requestBodyとresponseBodyですが、JSON変換を行うために、classを定義してあげる必要があります。
APIのリファレンスを見ながら、利用するものを黙々と定義していきます。
https://cloud.google.com/vision/docs/reference/rest/v1/images/annotate

[Serializable]
public class requestBody
{
    public List<AnnotateImageRequest> requests;
}

[Serializable]
public class AnnotateImageRequest
{
    public Image image;
    public List<Feature> features;
    //public string imageContext;
}

[Serializable]
public class Image
{
    public string content;
    //public ImageSource source;
}

[Serializable]
public class ImageSource
{
    public string gcsImageUri;
}

[Serializable]
public class Feature
{
    public string type;
    public int maxResults;
}

public enum FeatureType {
    TYPE_UNSPECIFIED,
    FACE_DETECTION,
    LANDMARK_DETECTION,
    LOGO_DETECTION,
    LABEL_DETECTION,
    TEXT_DETECTION,
    SAFE_SEARCH_DETECTION,
    IMAGE_PROPERTIES
}

[Serializable]
public class ImageContext
{
    public LatLongRect latLongRect;
    public string languageHints;
}

[Serializable]
public class LatLongRect
{
    public LatLng minLatLng;
    public LatLng maxLatLng;
}

[Serializable]
public class LatLng
{
    public float latitude;
    public float longitude;
}

[Serializable]
public class responseBody {
    public List<AnnotateImageResponse> responses;
}

[Serializable]
public class AnnotateImageResponse {
    public List<EntityAnnotation> labelAnnotations;
}

[Serializable]
public class EntityAnnotation {
    public string mid;
    public string locale;
    public string description;
    public float score;
    public float confidence;
    public float topicality;
    public BoundingPoly boundingPoly;
    public List<LocationInfo> locations;
    public List<Property> properties;
}

[Serializable]
public class BoundingPoly {
    public List<Vertex> vertices;
}

[Serializable]
public class Vertex {
    public float x;
    public float y;
}

[Serializable]
public class LocationInfo {
    LatLng latLng;
}

[Serializable]
public class Property {
    string name;
    string value;
}

ところどころコメントアウトしているのは、requestBodyを作る際に無指定だとAPIが"Bad Request"エラーを返却するため。
利用する場合、requestBodyを作る際に何かしら値を設定するか、項目を除外するかしないといけない。

responceBodyに関しては、受け取るものだけ定義しています。定義していないものは、responseに含まれていてもJSONデコードしてresponceBodyに格納する際に無視されるはず。

テスト

"Vision"ボタンを押したら、その時点の画像フレームをCloud Vision APIで解析するようにしました。

"ハッケンくんぬいぐるみ"の画像を送ったところ、以下の解析結果を得たので、動作に問題はなさそうです。

"stuffed toy"：ぬいぐるみ
"plush"：プラッシュ　（これもぬいぐるみ的な意味らしい）
"toy"：おもちゃ
"mascot"：マスコット