はじめに
Lambda関数でAWS CLIコマンドを使用して、日本語ファイル名のファイルをS3にアップロードしようとしたところ、エラーが出ました。
'utf-8' codec can't encode characters in ...
Lambda関数のランタイムは Node.js20.x (OS: Amazon Linux 2023) です。
エラーの原因
まずは、環境変数設定で LANG に ja_JP.utf8 を設定してみますが、結果は変わらず。
Amazon Linux 2023のDockerコンテナを起動して確認してみると、そもそもデフォルトで日本語のロケールデータが存在していませんでした。
$ docker run -it --rm amazonlinux:2023 bash
$ ls -l /usr/lib/locale
total 4
drwxr-xr-x 3 root root 4096 Jul 5 19:23 C.utf8
対応について
今回は、Lambdaレイヤーとして日本語ロケールデータを登録して、Lambda関数がそれを使用するようにすることで解決しました。
以下にその手順をまとめます。
1. 日本語ロケールデータのzipファイルを作成
Amazon Linux 2023のDockerコンテナを起動します。
この後、コンテナ内でLambdaレイヤーにアップロードするzipファイルを作成しますが、そのzipファイルにローカルからもアクセスできるように、-v オプションを使用します。
# 任意の作業ディレクトリに移動
$ cd ~/Desktop
# Dockerコンテナを起動して、glibc-langpack-ja と zip をインストール
$ docker run -it --rm -v ./volume:/volume amazonlinux:2023 bash
$ dnf -y install glibc-langpack-ja zip
これで日本語のロケールデータがインストールされました。
$ ls -l /usr/lib/locale
total 12
drwxr-xr-x 3 root root 4096 Jul 5 19:23 C.utf8
drwxr-xr-x 3 root root 4096 Jul 29 08:35 ja_JP.eucjp
drwxr-xr-x 3 root root 4096 Jul 29 08:35 ja_JP.utf8
このロケールデータをzipファイルにまとめます。
$ mkdir /volume/locale
$ cp -r /usr/lib/locale/ja_JP.utf8 /volume/locale/
$ cd /volume
$ zip -r locale.zip locale
2. Lambdaレイヤーを作成
前の手順で、~/Desktop/volume/locale.zip が作成されています。
このzipファイルを使用してLambdaレイヤーを作成します。
3. 対象のLambda関数にLambdaレイヤーを登録
Lambda関数のレイヤー登録画面から先ほど作成したLambdaレイヤーを登録します。
4. Lambdaレイヤーの日本語ロケールデータを使用できるように環境変数を設定
Lambdaレイヤーは /opt 配下に展開されるため、日本語ロケールデータは /opt/locale に存在することになります。
LANG に ja_JP.utf8 を設定し、さらに LOCPATH に /opt/locale を設定することで、Lambdaレイヤーで設定した日本語ロケールデータが読み込まれるようにします。
これで問題なく日本語ファイルも処理することができました。