最初に

pythonでエクセルやらスクレーピングやらを簡単にやってみたいなと思い、
まずはエクセルで簡単なファイル操作をしてみました。

今回、lambda以外は全て触るのが初めてなので微妙な記述等あるかと思いますが、
ご容赦いただければ幸いです。またSAMやAWS CLIなどのインストール等については割愛しておりますので、同じように試される方は適宜検索してみてください。

今回実現したいのは、
以下のようにcurlでエクセルファイルを添付して、APIGatewayを叩いて、lambdaで処理して、そのエクセルファイルから値を抽出して返却する、というシンプルなものです。

が、思った以上に大変でした。。。

SAM

では早速SAMから定義していきます。

sam initを実行し、セットアップのために色々と聞かれるので、答えていく。

.terminal

$ sam init

You can preselect a particular runtime or package type when using the `sam init` experience.
Call `sam init --help` to learn more.

Which template source would you like to use?
	1 - AWS Quick Start Templates
	2 - Custom Template Location
Choice: 1

Choose an AWS Quick Start application template
	1 - Hello World Example
	2 - Data processing
	3 - Hello World Example with Powertools for AWS Lambda
	4 - Multi-step workflow
	5 - Scheduled task
	6 - Standalone function
	7 - Serverless API
	8 - Infrastructure event management
	9 - Lambda Response Streaming
	10 - GraphQLApi Hello World Example
	11 - Full Stack
	12 - Lambda EFS example
	13 - Serverless Connector Hello World Example
	14 - Multi-step workflow with Connectors
	15 - DynamoDB Example
	16 - Machine Learning
Template: 1

Use the most popular runtime and package type? (python3.13 and zip) [y/N]: N

Which runtime would you like to use?
	1 - dotnet8
	2 - dotnet6
	3 - go (provided.al2)
	4 - go (provided.al2023)
	5 - graalvm.java11 (provided.al2)
	6 - graalvm.java17 (provided.al2)
	7 - java21
	8 - java17
	9 - java11
	10 - java8.al2
	11 - nodejs22.x
	12 - nodejs20.x
	13 - nodejs18.x
	14 - python3.9
	15 - python3.8
	16 - python3.13
	17 - python3.12
	18 - python3.11
	19 - python3.10
	20 - ruby3.3
	21 - ruby3.2
	22 - rust (provided.al2)
	23 - rust (provided.al2023)
Runtime: 15

# ここで今回はイメージを選択しました。
What package type would you like to use?
	1 - Zip
	2 - Image
Package type: 2

Based on your selections, the only dependency manager available is pip.
We will proceed copying the template using pip.

Would you like to enable X-Ray tracing on the function(s) in your application?  [y/N]: n

Would you like to enable monitoring using CloudWatch Application Insights?
For more info, please view https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/cloudwatch-application-insights.html [y/N]: n

Would you like to set Structured Logging in JSON format on your Lambda functions?  [y/N]: y
Structured Logging in JSON format might incur an additional cost. View https://docs.aws.amazon.com/lambda/latest/dg/monitoring-cloudwatchlogs.html#monitoring-cloudwatchlogs-pricing for more details

Project name [sam-app]: excel-app

    -----------------------
    Generating application:
    -----------------------
    Name: excel-app
    Base Image: amazon/python3.8-base
    Architectures: x86_64
    Dependency Manager: pip
    Output Directory: .
    Configuration file: excel-app/samconfig.toml

    Next steps can be found in the README file at excel-app/README.md
    

Commands you can use next
=========================
[*] Create pipeline: cd excel-app && sam pipeline init --bootstrap
[*] Validate SAM template: cd excel-app && sam validate
[*] Test Function in the Cloud: cd excel-app && sam sync --stack-name {stack-name} --watch

すると以下のようなディレクトリとファイルが生成されます。
ここで2点追加操作します。

送信用のエクセルファイルを追加（何でもOK）
hello_wordからexcel_manipulatorにディレクトリ名を変更

ここのポイントとしてはWhat package type would you like to use?の質問でImageを使用することです。

cd excel-app
tree

.
├── Book1.xlsx # 検証用に手動で後から追加しました。
├── README.md
├── __init__.py
├── events
│   └── event.json
├── excel_manipulator # hello_worldから変更
│   ├── Dockerfile
│   ├── __init__.py
│   ├── app.py
│   └── requirements.txt
├── samconfig.toml
├── template.yaml
└── tests
    ├── __init__.py
    └── unit
        ├── __init__.py
        └── test_handler.py

template.yaml

次にtemplate.yamlを変更します。

.yaml

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
  python3.8

  Sample SAM Template for excel-app

# More info about Globals: https://github.com/awslabs/serverless-application-model/blob/master/docs/globals.rst
Globals:
  Function:
    # 時間がかかる処理をしたい場合は、ここを伸ばす必要があります。
    Timeout: 3
    MemorySize: 128

    # You can add LoggingConfig parameters such as the Logformat, Log Group, and SystemLogLevel or ApplicationLogLevel. Learn more here https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/sam-resource-function.html#sam-function-loggingconfig.
    LoggingConfig:
      LogFormat: JSON
Resources:
  # RestAPIの定義
  ExcelManipulatorApi:
    Type: AWS::Serverless::Api
    Properties:
      StageName: default
      BinaryMediaTypes:
        - '*~1*'

  ExcelManipulatorFunction:
    Type: AWS::Serverless::Function # More info about Function Resource: 
    Properties:
      PackageType: Image
      Architectures:
      - x86_64
      Events:
        ExcelManipulatorApi:
          Type: Api # More info about API Event Source: https://github.com/awslabs/serverless-application-model/blob/master/versions/2016-10-31.md#api
          Properties:
            Path: /excel_manipulator
            Method: post
            RestApiId: !Ref ExcelManipulatorApi

    Metadata:
      Dockerfile: Dockerfile
      DockerContext: ./excel_manipulator # ここをhello_worldから変更する
      DockerTag: python3.8-v1

Outputs:
  # ServerlessRestApi is an implicit API created out of Events key under Serverless::Function
  # Find out more about other implicit resources you can reference within SAM
  # https://github.com/awslabs/serverless-application-model/blob/master/docs/internals/generated_resources.rst#api
  ExcelManipulatorApi:
    Description: API Gateway endpoint URL for Prod stage for ExcelManipulator Function
    Value: !Sub "https://${ExcelManipulatorApi}.execute-api.${AWS::Region}.amazonaws.com/Prod/excel_manipulator/"
  ExcelManipulatorFunction:
    Description: ExcelManipulator Lambda Function ARN
    Value: !GetAtt ExcelManipulatorFunction.Arn
  ExcelManipulatorFunctionIamRole:
    Description: Implicit IAM Role created for ExcelManipulator Function
    Value: !GetAtt ExcelManipulatorFunctionRole.Arn

細かくは解説しませんが、ポイントが数点あります（めちゃくちゃ沼った。。。）

BinaryMediaTypesを指定する

これをAPIに指定しないといけません。
なぜなら、RestAPIでは、デフォルトではUTF-8のテキストのペイロードしかサポートしておらず、これを設定しないとめちゃくちゃ文字化けして500エラーが返却されます。

こんな感じで文字化けします。

HTTPAPIにすれば問題ないのですが、今回はRESTAPIで進めるためにこの設定を付与しました。

また以下のドキュメントに書かれている通り/は~1と書く必要があるので注意が必要です。
https://docs.aws.amazon.com/apigateway/latest/api/API_RestApi.html#apigw-Type-RestApi-binaryMediaTypes:~:text=Required%3A%20No-,binaryMediaTypes,-The%20list%20of

app.py

次にコードを変更します。特に注意点はありません。
Base64でエンコードされているので、それをデコードする、くらいでしょうか。

.py

import json
import pandas as pd
import base64
from io import BytesIO

def lambda_handler(event, context):
    print("event", event)
    # Base64エンコードされたエクセルデータを取得
    body = event['body']
    print("body_data", body)
    
    # Base64デコードしてバイナリデータに変換
    excel_data = base64.b64decode(body)

    # BytesIOを使ってメモリ上でエクセルファイルを開く
    excel_file = BytesIO(excel_data)

    df = pd.read_excel(excel_file, engine='openpyxl')
    output = df.loc[:,:]
    print("output", output)
    
    # DataFrame を JSON に変換
    output_json = output.to_json(orient="records")  # レコード形式で変換
    print("output_json", output_json)

    # Lambda のレスポンスとして返す
    return {
        "statusCode": 200,
        "body": json.dumps({"output": json.loads(output_json)})  # JSON を辞書形式にして返す
    }

requirements.txtの変更

railsでいうgemfile的な位置付けのファイルなんですかね。
ここに必要なパッケージを記述します。

requirements.txt

requests
pandas

ビルドしてデプロイする

ここまでで準備は整ったので、ビルドとデプロイをしていきます。

ビルド

$ sam build

デプロイ

$ sam deploy -g --profile ~~~

また、色々と確認されるので答えていく。基本、全てYで良いと思います。
ExcelManipulatorFunction has no authentication. Is this okay? [y/N]: yについては、本来は設定するべきですが、今回は割愛しています。

Configuring SAM deploy
======================

	Looking for config file [samconfig.toml] :  Found
	Reading default arguments  :  Success

	Setting default arguments for 'sam deploy'
	=========================================
	Stack Name [image-sam-app]: 
	AWS Region [us-east-1]: ap-northeast1
	#Shows you resources changes to be deployed and require a 'Y' to initiate deploy
	Confirm changes before deploy [Y/n]: Y
	#SAM needs permission to be able to create roles to connect to the resources in your template
	Allow SAM CLI IAM role creation [Y/n]: Y
	#Preserves the state of previously provisioned resources when an operation fails
	Disable rollback [y/N]: y
	ExcelManipulatorFunction has no authentication. Is this okay? [y/N]: y
	Save arguments to configuration file [Y/n]: y
	SAM configuration file [samconfig.toml]: 
	SAM configuration environment [default]:

しばらく待って以下のメッセージが表示されたらデプロイ成功です！

Successfully created/updated stack - excel-app in ap-northeast-1

AWSのコンソール画面に確認しにいくと

lambda関数
API Gateway
が存在することを確認できました。

試しにcurlで最初に用意したエクセルファイルを送ると、

$ curl -X POST \
     -H "Content-Type: multipart/form-data" \
     -F "file=@Book1.xlsx" \
     https://~~~~~.execute-api.ap-northeast-1.amazonaws.com/Stage/excel_manipulator

こんな感じでエクセルから文字列を読み取って返却されました🎉

{"output": [{"A1": "A2", "B1": "B2", "C1": "C2"}, 
            {"A1": "A3", "B1": "B3", "C1": "C3"}]}

まとめ

振り返ってみるとめちゃくちゃ簡単そう（という簡単）なのですが、

Layerを作成してLambdaに設定したらいい
dockerを起動して、そこでpip installしたらいい
などさまざまな情報にあたり、色々試した結果今回の方法に辿り着きました。

同じように詰まっている方の助けになれば幸いです。

参考