概要

lambdaでpythonを使ってRDSにアクセス時にlibpq.so.5: cannot open shared object file: No such file or directoryとエラーが出てしまったのでその問題の解消法を備忘録としてまとめました。

今回はpoetryを使っていましたが普通にrequirements.txtでやっていても同じことだと思います。

環境

poetryで使っていたライブラリの一部

pyproject.toml

[tool.poetry.dependencies]
python = "^3.11"
psycopg2 = "^2.9.9"
psycopg2-binary = "^2.9.9"
sqlalchemy = "^2.0.22"

lambdaからRDS(postgres)にアクセスしようとして次のようなエラー（ログ）がCloudWatchで確認できた。

libpq.so.5: cannot open shared object file: No such file or directory

この状況を打破するためにはpsycopg2とpsycopg2-binaryの違いを理解する必要があります。

簡単に説明すると、psycopg2-binary は実行する際に外部ライブラリやコンパイラが必要なくスタンドアローンなパッケージとして作成されているものです。 psycopg2 自体はC言語のラッパーであるためCコンパイラが必要になります。

ということで、単にlambdaからRDSにアクセスするためにはpsycopg2-binaryがあれば必要十分ということになります。

lambdaからRDSにアクセスするためにはpsycopg2-binaryがあれば必要十分

ということでpsycopg2はこの場合必要ないので一旦両方をuninstallして再度psycopg2-binaryをinstallします。

pip uninstall psycopg2 psycopg2-binary
pip install psycopg2-binary
# or 
poetry remove psycopg2 psycopg2-binary
poetry add psycopg2-binary

として再度レイヤーやzip化してデプロイすれば解決します。

よって、pyproject.tomlのライブラリはpsycopg2が消えて次のようになっていればよいです。

pyproject.toml

[tool.poetry.dependencies]
python = "^3.11"
psycopg2-binary = "^2.9.9"
sqlalchemy = "^2.0.22"