背景

前回の記事で、S3Proxyについて、Microsoft Azure Blob Storageで実行できるかどうか検証してみました。
今回は、その記事の中にUsage with Javaというのがありましたので、試してみることにしました。また、せっかくなので、今後Sparkでも使いたいので、Scalaで書いてみました。

実装

ポイント

実装はS3ProxyのMain.javaを参考にしました。
実装してわかったのは、ほとんどはjcluodsのコンポーネントを使っていることです。
注意すべき点は、
build.sbtのlibraryDependenciesで以下のjetty-util9.2を使っているのですが、
jettyは9.4が最新なので、jetty9.2を使おうとすると、エラーになってしまいます。
S3Proxy内でコールしているjetty Serverが9.2を使っているためですね。

"org.eclipse.jetty" % "jetty-util" % "9.2.22.v20170606"

実コード抜粋

hello.scala


    val path = FileSystems.getDefault().getPath("conf", "s3proxy.conf")
    val inputStream = Files.newInputStream(path, StandardOpenOption.READ)
    val properties = new Properties

    properties.load(inputStream)
    Option(properties.getProperty(Constants.PROPERTY_PROVIDER)) match {
      case Some(provider) => Option(properties.getProperty(Constants.PROPERTY_IDENTITY)) match {
        case Some(identity) => Option(properties.getProperty(Constants.PROPERTY_CREDENTIAL)) match {
          case Some(credential) => {

            val context = ContextBuilder.newBuilder(provider).
            credentials(identity, credential).
            overrides(properties).build(classOf[BlobStoreContext])

            val s3Proxy = S3Proxy.builder().blobStore(context.getBlobStore()).
            endpoint(URI.create("http://127.0.0.1:8080")).build()

              s3Proxy.start()

              while (!s3Proxy.getState().equals(AbstractLifeCycle.STARTED)) {
                Thread.sleep(1)
                println("Not Start!")
              }
              println("Start!")
          }
          case None => println("$Constants.PROPERTY_CREDENTIAL is not exists.")
        }
        case None => println("Constants.PROPERTY_IDENTITY is not exists.")
      }
      case None => println("$Constants.PROPERTY_PROVIDER is not exists")
    }

上記ソースを解説すると、

val context = ContextBuilder.newBuilder(provider).
credentials(identity, credential).
overrides(properties).build(classOf[BlobStoreContext])

ContextBuilder.newBuilderをコールしコンテキストを作ります。
providerはAzure Blob Storageの場合、jclouds.provider=azureblobを指定します。
jcloudsを使っているのがpropertieファイルから見ても読み取れますね。

Azure Blob Storageの場合のidentityとcredentialは前回の記事にも記載しましたが、
ストレージアカウント名とアクセスキーになります。