はじめに
本記事はLambda@javaでS3オブジェクトをEC2のDB(SQL Server)にINSERTするまでにやったことの備忘録です。
別解などあればご指摘お願いします。
1 : AWS編
2 : Java編[前編] <-- 本編
3 : Java編[後編]
3.5 : Java編[続]
となります。
以下は前回の続き、EC2インスタンス作成後からとなります。
事前準備
補足：Eclipse とは
eclipse とは、IBMによって開発された統合開発環境 (IDE) の一つ。高機能ながらオープンソースであり、Javaをはじめとするいくつかの言語に対応する。
eclipse自体はJavaで記述されている。
注意)業務上すでにインストール済みだったため、本記事のeclipseのバージョンは Oxygen.3a Release (4.7.3a) を想定します。
別のバージョンを使用したい場合は https://www.eclipse.org/downloads/ よりダウンロードしてください。
また、eclipse のインストールはウィザードにしたがって適宜カスタマイズしてください。
プロジェクトの作成
eclipseのインストールが完了したら、起動し[ファイル]->[新規]->[Mavenプロジェクト]を選択、プロジェクトを作成します。
- 任意のワークスペースを選択後、[次へ]。
- ２つ目のウィザードでMavenプロジェクトのアーキタイプを選択する。
- 今回は特にこだわる部分は無いので[Maven-archetype-quickstart]を選択。
[次へ]を選択すると新たにウィザードが表示されるので、"アーティファクトID" および "グループID" を入力。
アーティファクトID及びグループIDの詳細については以下のようなイメージ。
グループId：プロジェクトを一意に識別する名前を付ける。
アーティファクトId：プロジェクトのパッケージング名。jarファイルなどにつける名前のイメージ。
他の項目はデフォルトのまま、[完了]でプロジェクトを作成しましょう。
プロジェクトの作成直後は、概ね次のようなディレクトリ構造になっていると思います。
注意) コンパイラ準拠レベルは1.8に変更してください。
それでは早速編集していきましょう。
pom.xmlの編集
デフォルトのpom.xmlをダブルクリックで開くと下のようになっていると思います。
jUnitが入っていなかったりするともう少し短い記述になるでしょう。
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>S3test</groupId>
<artifactId>S3toLambda</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>S3toLambda</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
</dependencies>
</project>
AWS関連のライブラリを追加するため、dependencies ブロックの中に記述を追加しましょう。Ctrl + s で保存します。
編集後↓
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>S3test</groupId>
<artifactId>S3toLambda</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>S3toLambda</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/com.amazonaws/aws-lambda-java-core -->
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-lambda-java-core</artifactId>
<version>1.0.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.amazonaws/aws-lambda-java-events -->
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-lambda-java-events</artifactId>
<version>1.0.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.3</version>
<configuration>
<createDependencyReducedPom>false</createDependencyReducedPom>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
これによりMaven依存関係の中にAWS関連の複数のjarが追加され、扱えるようになります。
続いて、デフォルトで作成されている App.java クラスを編集していきましょう。
オブジェクト名の一覧取得
デフォルトでは以下のようになっています。
package S3test.S3toLambda;
/**
* Hello world!
*
*/
public class App
{
public static void main( String[] args )
{
System.out.println( "Hello World!" );
}
}
不要なコメントを削除し、クラス名を ReadS3Object とします。
さらにメソッド名を listingNames としておきます。
編集後↓
package S3test.S3toLambda;
import java.util.List;
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.ListObjectsRequest;
import com.amazonaws.services.s3.model.ObjectListing;
import com.amazonaws.services.s3.model.S3ObjectSummary;
public class ReadS3Object
{
public static void listingNames( String[] args )
{
@SuppressWarnings("deprecation")
AmazonS3 client = new AmazonS3Client(
new BasicAWSCredentials(
"<accessKey>",
"<secertKey>"));
ListObjectsRequest request = new ListObjectsRequest()
.withBucketName("<bucketName>");
ObjectListing objectList = client.listObjects(request);
// オブジェクト一覧の取得
List<S3ObjectSummary> objects = list.getObjectSummaries();
System.out.println("objectList:");
objects.forEach(object -> System.out.println(object.getKey()));
}
}
<accessKey>, <secretKey> にはそれぞれAWS編で作成したIAMユーザのアクセスキー及びシークレットアクセスキーを指定。
<bucketName> には作成したS3バケット名を入力します。
この状態で、一度プロジェクトをビルドしてjarファイルを作成します。
プロジェクト名を右クリック->[実行]->[Mavenビルド]を選択すると実行構成の編集用ポップアップが表示されるので、
ゴール部分に "package shade:shade" を入力して、依存関係のあるライブラリも含めてパッケージングします。
実行すると、プロジェクト名/target/
に <projectName>-0.0.1-SNAPSHOT.jar が作成されるので、これをLambdaにアップロードします。
jarのアップロードとLambdaファンクションの実行
Lambdaのマネジメントコンソールに接続します。
画面上部の[関数の作成]をクリックし、作成画面へ移動します。
[一から作成]が選択されていることを確認し、中央のフォームを入力していきます。
ここではファンクション名を "test-function" とし、ランタイムをJava 8に設定します。
既存のロールを選択、で前回作成したロールを選択します(キャプチャでは前回から名前を変えています)。
[関数を作成]を実行すると Java 8 の実行環境が作成されるので、ここに先ほどの jar をアップロードしてみましょう。
矢印部分の[ハンドラ]内は"パッケージ名.クラス名::実行メソッド名"と記述します。
アップロードが完了したら、画面上部の [保存] -> [テスト]をクリックしましょう。
初回のみテストデータの作成を促されますが、今回は特に意識する必要はないのでデータはそのまま、適当なイベント名をつけておきます。
[作成]をクリックするとLambdaファンクションが実行され、結果が出力されます。
次のように、S3バケットにアップロードしたテストファイルの名前が表示されていれば成功です。
次回はS3バケットに何らかのファイルをアップロードしたことを検知して、メールで通知するプログラムと、DBへINSERTするプログラムを作成してみたいと思います。