IntelliJとGradleで始めるApache Beam 2.0.x with Google Cloud Dataflow

基本的にドキュメントでは、Mavenでのクイックスタートしか書いていなかったので、Apache BeamをGradleとIntelliJで始める方法をメモする。

今回は、Pipelineに対するOptionを指定することなどは考えず、とりあえずローカル環境で動かせるようにするための設定である。
Pipelineに対するOptionを指定するなど、諸々のことを考慮したものを今後追加記述する可能性もある。

方法

1 intelliJ IDEAでCreate New Project

2 GradleとJavaを選択

3 groupIdとartifactIdを指定

groupId:プロジェクトのルートパッケージ名
artifactId : プロジェクト名

4 諸々の設定

設定を以下のようにする

5 project nameとproject locationを設定

表示されたままでよければ進む

6 以下のbuild.gradleに変更する

group 'hoge'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    mavenCentral()
}

dependencies {
    compile group: 'com.google.cloud.dataflow', name: 'google-cloud-dataflow-java-sdk-all', version: '2.0.0'
    testCompile group: 'junit', name: 'junit', version: '4.11'
}

7 ビルドを待つ

build.gradleを上記に変更してしばらく待つと、IntelliJが勝手にbuildしてくれるので、Apache Beamを使用できるようになる。

Mavenのリポジトリ

掲載したbuild.gradleのような感じで、以下のMavenのリポジトリから、引っ張ってこられる
Maven Repository: com.google.cloud.dataflow

参考にさせていただいたサイト

Gradle初心者によるGradle事始め - Qiita

Maven Repository: com.google.cloud.dataflow

※ ブログでも同一の投稿を行っている
IntelliJとGradleで始めるApache Beam with Google Cloud Dataflow